エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Kinesis Data Firehose 動的パーティショニングの制限超過エラーに遭遇した件 - サーバーワークスエンジニアブログ
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Kinesis Data Firehose 動的パーティショニングの制限超過エラーに遭遇した件 - サーバーワークスエンジニアブログ
こんにちは! サーバーワークスの松井です。 Kinesis Data Firehoseに大量のデータを送信していたら制限... こんにちは! サーバーワークスの松井です。 Kinesis Data Firehoseに大量のデータを送信していたら制限超過エラーに遭遇したので紹介します。 発生事象 パーティションキーをIDで指定し、1から順番にインデックスを割り振ったJSONをKinesis Data Firehoseに送信していました。 すると送信先のS3の/error配下に以下のメッセージが格納されたファイルが作成されていました。 "errorMessage":"The number of active partitions has exceeded the configured limit" マネージメントコンソールのグラフを見るとカウント500で頭打ちを食らっていますね 対策 Kinesis Data Firehose での動的パーティショニング - Amazon Kinesis Data Firehose 配