fluent-plugin-bigqueryでログの書き込みが痕跡なく欠損するケースがある問題 - s_tajima:TechBlog

fluent-plugin-bigqueryを使ってBigQueryにStreaming Insertでログを書き込む時に、 痕跡なくログが欠損するケースがあるのでは? という話です。 fluent-plugin-bigqueryでのログの書き込み処理/エラー処理はこのようになっています。 res.success? がtrueであればエラーはなく書き込みが成功しているという想定。 falseの時にはレスポンスのjsonのerrorエラーの中身を見て、ログを吐くなどのエラー処理をするようです。 res = client().execute( api_method: @bq.tabledata.insert_all, parameters: { 'projectId' => @project, 'datasetId' => @dataset, 'tableId' => table_id, },

[taro-maru]

streamingとloadは使い分けが肝心。

[kimutansk]

BigQueryのレスポンスが200台でも結果にエラーが含まれているケースがあって、その場合普通正常応答と判断して特に何もしないので、痕跡なく落ちると。