Fluentd向けApache Arrowプラグインについて - KaiGaiの俺メモ

構想は半年ほど前？ここ一ヶ月ほど集中して開発に取り組んでいた、Fluentd向けApache Arrowプラグインがようやく動くようになったので、今回はこちらのモジュールについてご紹介します。 そもそもPG-Stromは、IoT/M2M領域で大量に発生するデータを高速に処理できますというのがセールスポイントで、GPU-Direct SQLはじめ、各種の機能によってそれを実現しているワケですが、実際に運用する際には、発生したデータを『どうやってSQLで処理できるようDBにインポートするか？』という問題があります。 例えば、PostgreSQLに一行ずつINSERTするというのも一つの解です。ただし、単純なI/Oに比べると、DBへの書き込みはどうしても処理ボトルネックになりがちです。 そこで、大量に収集するログデータを、少ない時間ロスで（つまり一時ファイルに保存したデータを再度DBにインポート

[sh19910711]

fluent-plugin-arrow-file / "発生したデータを『どうやってSQLで処理できるようDBにインポートするか？』 / Fluentd から Apache Arrow 形式ファイルを出力 + 直接 PG-Strom から読み出す / データをインポートする事なく PostgreSQL から参照"

[tmatsuu]

ログの記録用としてのArrow形式ファイルと、それを読み込めるarrow_fdw。ほう。Arrow形式ファイルはスキーマ構造も内包。いいね。Arrow形式ファイルちょっと調べてみるか

[koba789]

"fluent-plugin-arrow-file" あまりに正しい存在だ