AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers

NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び

[takahiro_ikegawa]

とても助かっております、ありがとうございます！！

[integrated1453]

チームメンバーがData Pipeline廃止のために代替手段を調べてくれました。LSIの制約がないこと、データサイズやインポート/エクスポート頻度によるコスト面でAWS Backupを使うことにしましたが、DynamoDB Exportも候補になりえます