Embulkを活用してAmazon Elasticsearch Serviceへデータを同期させた話 - WILLGATE TECH BLOG
こんにちは。インフラチームの高畑です。 今回は Elasticsearch (ES) を AWS に移行した際に導入した Embulk についてお話しします！ Embulkとは Embulk とは、 Fluentd の開発者である古橋貞之氏によって開発された、 Fluentd のバッチ版のようなものです。 プラグインにより、インプットとアウトプットを柔軟に切り替えることが可能となっており、バルク処理に特化しています。 Fluentd と Embulk の違い Fluentd データのストリーミング転送 既存の大量なデータは転送ができない Embulk 定期実行によるデータ転送 分散処理により既存の大量なデータを転送できる Embulkで利用できるプラグインは以下の通りとなっています。 プラグインの一覧はこちら Input Plugin RDS、S3、GA、ES・・・・・ Output Pl
fluent-plugin-aws-elasticsearch-service を使う場合は reload_connections を false にする - kakakakakku blog
最近 Amazon Elasticsearch Service にログを転送している Aggregator の /var/log/td-agent/td-agent.log に以下のログが出力されていて，調査してわかった fluent-plugin-aws-elasticsearch-service を使う場合に必要な設定に関してまとめておく． 2016-10-24 16:54:50 +0900 [warn]: temporarily failed to flush the buffer. next_retry=2016-10-24 16:54:52 +0900 error_class="Elasticsearch::Transport::Transport::Error" error="Cannot get new connection from pool." plugin_id="xx
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
