ElasticsearchのScroll APIをためしてみた - 平日インプット週末アウトプットぶろぐ

気になっていたElasticsearchのScroll APIの使用感を記録します。最近の開発でScroll APIを採用したい欲求がありましたが、使用感を調べる前で採用は見送りました。このままだと気になったまま使わないことになりそうなので、この機会にまとめます。 www.elastic.co ※ version 2.4をつかいました。 Scroll APIは通常のSearch requestのoffset/limitでページング取得をしないため処理中のデータ抜けが防げるメリットがあります。またScroll APIは初回リクエスト時の結果をスナップショットすることで安定した応答速度を担保します。 スナップショットをとるためリアルタイムのデータ処理の利用には向いていません。（スナップショットの挙動について試してみたので後述しています） どんなふうに使うか？ 通常のクエリとscroll=1mを

[sh19910711]

"Scroll APIは初回リクエスト時の結果をスナップショットすることで安定した応答速度を担保 / スナップショットをとるためリアルタイムのデータ処理の利用には向いていません"

[kent-where-the-light-is]

“Scroll APIを使うときのメモ Scroll APIの初回のリクエストはscroll_idを取得するためのものではなく、検索結果に加えてscroll_idが返ってくる。 Aggregationを含んだリクエストの場合、Aggregationの結果は初回のみ返ってくる。 ソート