Embulkを活用してAmazon Elasticsearch Serviceへデータを同期させた話 - WILLGATE TECH BLOG
こんにちは。インフラチームの高畑です。 今回は Elasticsearch (ES) を AWS に移行した際に導入した Embulk についてお話しします！ Embulkとは Embulk とは、 Fluentd の開発者である古橋貞之氏によって開発された、 Fluentd のバッチ版のようなものです。 プラグインにより、インプットとアウトプットを柔軟に切り替えることが可能となっており、バルク処理に特化しています。 Fluentd と Embulk の違い Fluentd データのストリーミング転送 既存の大量なデータは転送ができない Embulk 定期実行によるデータ転送 分散処理により既存の大量なデータを転送できる Embulkで利用できるプラグインは以下の通りとなっています。 プラグインの一覧はこちら Input Plugin RDS、S3、GA、ES・・・・・ Output Pl
fluent-plugin-elasticsearchでCannot get new connection from poolが出た - wyukawa's diary
題名の通りで動作環境は以下の通りです。 Elasticsearch側はcerebroで見る限りgreenで正常に見えました。 fluentd 0.12.27 fluent-plugin-elasticsearch 1.9.0 Elasticsearch 5.0.1 fluentdの設定はこんな感じ <match ...> type forest subtype elasticsearch <template> hosts ... id ... buffer_type "file" buffer_path "..." flush_at_shutdown true buffer_chunk_limit 4m buffer_queue_limit 512 flush_interval 1s num_threads 8 logstash_format true logstash_prefix ${
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
