Apache Iceberg とは何か - 流沙河鎮
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を提供します。この投稿のシリーズでは、Apache SparkアプリケーションとGlueのETLジョブの開発者、ビッグデータアーキテクト、データエンジニア、およびビジネスアナリストが、AWS Glue上で実行するデータ処理のジョブを自動的にスケールするのに役に立つベストプラクティスについて説明します。 まず最初の投稿では、データ処理を行うジョブのスケーリングを管理する上で重要な2つのAWS Glueの機能について説明します。1つ目は、
Apache HiveとDruidを使ったリアルタイムSQL
IoTやAIのユースケースがますます増えているのなか、ビッグデータをリアルタイムにSQLでクエリする需要が高まっている。こちらを実現するソリューションとして、Apache Hive と Druid の組合せが魅力です。 Apache Hive と Druid とも実績の高いオープンソースソフトウェア（OSS）。 両方とも非常に大量のデータでも対応できるスケールアウト・アーキテクチャ。 Apache Hive と Druid 自体や依存コンポネント全ては、Apache Ambariを使ってGUIウィーザーでインストール可能。 簡単な設定だけで連携可能。 今回はApache HiveとDruidを使ったリアルタイムSQL処理を、サンプルみながら説明する。 Apache Hive 2とは Apache HiveはHadoop上のSQLデータ・ウェアハウスです。最新のHive 2.2は新しいLLA
よくわかる Apache Thrift J to R | PSYENCE:MEDIA
はじめに この記事は、サーバサイドエンジニアの平凡な日常で得た Apache Thrift の基本的な使い方を淡々と説明するものです。 過度な期待はしないでください。 それと、Ｓｗｉｆｔ1)アップルのiOSおよびOS Xのためのプログラミング言語と勘違いしてこのページを開いてしまった方にはすみません。 みさなまどうも。サーバサイドのエンジニアぶらいじぇんです。 エンジニアの皆様におかれましては、普段いかがおプログラミングでしょうか？ さて、諸姉兄におきましてはサービスリリース浅く監視・運用厳しき折、既存のサービスとの連携とは名ばかりで無茶な実装せざるを得ないなんてこともままあるのではないでしょうか？ 私に至っては、『このサービスの連携がこんなに難しいはずがない』とか『僕には解決策が少ない』とか感じてしまう今日此頃です。2)超訳すると、RoRのサービスでJavaのAPIを叩きたかったときにT
Maven のビルドでテストをスキップする - tm_senda の技術ノート
Maven を利用する場合、テストをスキップするのは本来であれば推奨されないわけですが、 テストに時間がかかりすぎるので普段はテストをスキップしたい スケジュールに追われてテストコードのメンテナンスが追いつかない！けどビルドは通したい…*1 などの事情によりテストをスキップしたい場面に出くわすことがあります。 まれに、"rm -rf src/test/java" というワイルドな手法も見かけるのですが… テストをスキップするには… テストの実行のみをスキップする mvn install -DskipTests=true テストコードのコンパイル、およびテストの実行をスキップする mvn install -Dmaven.test.skip=true テストをスキップするには上記を使い分けます。 後者の場合、jar:test-jar(org.apache.maven.plugins:maven
Apache Igniteを分散キャッシュに利用したシステム負荷軽減 | CyberAgent Developers Blog
秋葉原ラボ 飯島 賢志 シュティフ ロマン(@rshtykh) はじめに サイバーエージェント内の研究開発組織である秋葉原ラボは、大規模データ基盤の開発・運用に加えて検索・機械学習・データマイニングなどを活用して、弊社の各サービスと様々な形で連携している。今回、Amebaトピックスで使用しているレコメンドAPIに分散キャッシュを導入してシステム負荷を軽減した事例を紹介する。 Amebaトピックス Amebaトピックスでは、Amebaが展開するサービスの中でいまホットなトピックや記事を選定し配信している。誰にどのトピックを表示するかについていくつもの判定や処理が瞬時にされるが、今回の改善で一層速くレスポンスを返すことができるようになった。 図1. Amebaトピックスのブログヘッダへの配信 システム構成 今回、改善対象となったレコメンドAPI周りのシステム構成を以下の図2に示す。一部省略して
Cloudera Blog
Riding the wave of the generative AI revolution, third party large language model (LLM) services like ChatGPT and Bard have swiftly emerged as the talk of the town, converting AI skeptics to evangelists and transforming the way we interact with technology. For proof of this megatrend look no further than the instant success of ChatGPT, […] Read blog post
Android アプリに Apache License, Version 2.0 のライブラリを組み込むときにしなければならないこと - ひだまりソケットは壊れない
Android アプリを開発していると Apache License, Version 2.0 のライブラリを使うことが多いと思います。 Licenses | Android Developers 上のページを見るとわかるように、Android Open Source Project は基本的に Apache License, Version 2.0 ですし、Android Open Source Project 以外のライブラリを見ても、Android 関係では Apache License, Version 2.0 が多数派のようです。 そういうわけで、使用する機会の多い Apache License, Version 2.0 のライブラリですが、Android アプリに組み込むときに (ライセンス的に) 何をする必要があるのか調べたのでまとめておきます。 法律とかライセンスについては
Apacheモジュールの作成とgdbとloggerでのデバッグ方法 - よねのはてな
ApacheのFilterモジュールを作った話しをしたらid:c9katayamaに情報公開しろと言われたままでしたので公開します。 C言語の勉強しようかな、Apache2.xのモジュールを作ってみようかな、gdb使ってデバッグしてみようかなと考えてた人にお勧めです。 JavaでのServletの開発経験のある人であれば、Filterの処理の動きやリクエストコンテキストの考え方は分かり易いはずなので、エントリを読み終わる頃にはApacheのモジュールをgdbでデバッグしながら作る事が出来るはずです。 mod_orzを作成 今回はmod_orzというApacheモジュールを作成します。 Apacheモジュールを作成する際には、apxsというモジュール開発用のコマンドを使用しテンプレートを作ります。 # apxs -g -n orz Creating [DIR] orz Creating [F
Apacheのアクセス制御をちゃんと理解する。 - こせきの技術日記
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
研究者と技術者の狭間で感じた事 - 情熱が自分を変える - 人間とウェブの未来
吉報は突然届くもので、本日、情報処理学会の山下記念研究賞の受賞が決定しました。 まず、情報処理学会の山下記念研究賞（旧研究賞）とは以下のような賞になります。3年前に会社を辞めてまで学術研究に飛び込んだ自分としては、非常に光栄ですし何よりうれしいです。 2014年度詳細-情報処理学会 山下記念研究賞の推薦理由は、 [推薦理由] Webサービスを安定して提供するために，Webサーバソフトウェアの内部機能の拡張が必要となる場合がある．この機能拡張を，生産性や保守性を考慮してスクリプト言語で行う手法の提案がいくつかなされているが，高速性・省メモリ・安全性の面でいくつかの課題があった．著者は，Apache HTTP Serverに組み込みスクリプ卜言語であるmrubyを組み込むことで，Rubyスクリプトにより容易に機能拡張でき，高速・省メモリで動作する機能拡張支援機構を提案している．また，本機構の有
RubyKaigi2014でmod_mrubyやngx_mrubyとその応用について発表して、就職も決まりました - 人間とウェブの未来
RubyKaigi 2014でmod_mrubyやngx_mrubyとその応用について話してきました。 この写真はhsbtさんに撮っていただいた写真で、その他RubyKaigi中のグレートな写真を沢山撮影されていました。 hsbtさんに感謝します。 RubyKaigi 2014, 18-20 september RubyKaigiは、オブジェクト指向スクリプト言語Rubyの準国際カンファレンスです。 世界中からRubyのコミッターや技術者がRuby発祥の地である日本にて一堂に会するイベントです。 2006年からほぼ毎年開催されており、前回のRubyKaigi 2013では公用語に英語を追加するなど、国際カンファレンスとしての場を整え、3日間でのべ1,500名以上の来場者を迎えました。 発表で使用したスライドは以下です。 スライドよく見ると、時間の関係上省いた最後の
フックから Apache の全体像を追う - daily dayflower
DSAS開発者の部屋:[補足記事]Apache 2.0 の hook 一覧(apache module 開発事初め その3-3) はモジュールを書く際にどこにフックをしかけるかという点で非常に参考になります。 が，いまだにいまいち Apache からどのように呼び出されるか実感がわきません。ひょっとしてフックの呼び出し方を調べると Apache の処理フローを追っていけるんじゃないか，という無謀な挑戦をしてみました。 対象 前提条件 Apache のモジュールを書いたことがある人; 最低限 ap_hook_handler フックを使ったことがある人 調査対象 Apache 2.2.3 のソース*1 なお，以下に記したソースは，実際のソースの引用ではなく，おもにフックを呼び出している部分のみの抜粋となります。またロジックを損なわない程度に書き換えた部分もあります。さらには引数や戻り値について
Modules and Configuration
Most modules need to offer system administrators and users some means of configuring and controlling them. In some cases, this is even the primary purpose of a module. System administrators configure Apache using httpd.conf, while end users have more limited control through .htaccess files. Modules give control to them by implementing configuration directives that can be used in these files. In th
[補足記事]ディレクティブ処理関数登録マクロ一覧 (apache module 開発事初め その3-2) : DSAS開発者の部屋
AP_INIT_XXX("directive", function, info, where, help) 引数の意味はそれぞれ directive設定ファイル中で用いるディレクティブの名前．char *型．大文字小文字は無視されます． functionディレクティブ処理用の関数を指定すします．関数の型は，AP_INIT_XXX の種類によって変わります． infofunction() を呼び出す時に渡す情報．void *型．特に渡すものがなければ NULL を指定します． whereこのディレクティブが現れてよい場所の指定．int型．指定できる値のようなものがあります． OR_LIMIThttpd.conf内の <Directory> か <Location> の中か， AllowOverride Limit が指定されていれば .htaccess の中．このタイプのディレクティブの例と
![[補足記事]ディレクティブ処理関数登録マクロ一覧 (apache module 開発事初め その3-2) : DSAS開発者の部屋](https://cdn-ak-scissors.b.st-hatena.com/image/square/da78a05937633f7a2b4b2219826151c370cd607b/height=288;version=1;width=512/https%3A%2F%2Fparts.blog.livedoor.jp%2Fimg%2Fusr%2Fcmn%2Fogp_image%2Flivedoor.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Big Data: Google Replaces YARN with Kubernetes to Schedule Apache Spark
Introducing Apache Iceberg: Tables Designed for Object Stores | Berlin Buzzwords
忙しい人の5分で分かるMesos入門 - Mesos って何だ？
mod_log_config - Apache HTTP Server Version 2.4
Apache Spark の紹介（前半：Sparkのキホン）
