datapipelineの検索結果1 - 2 件 / 2件

• あとで読む

  メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング

  • 62 users
  • engineering.mercari.com
  • テクノロジー
  • 2022/04/21

  こんにちは、メルペイ DataPlatformチーム(@rerorero, @darklore, @laughingman7743)です。 この記事は、Merpay Tech Openness Month 2022 の14日目の記事です。 今日はメルペイ DataPlatformで取り組んでいるCDCパイプラインについて紹介します。 CDCパイプラインとは何か CDCとは Change Data Capture の略称で、データベース内のデータの変更（新規作成、削除、変更など）を追跡するシステムです。データソースで発生した変更は、ニアリアルタイムでデータシンクに反映させることができます。 CDCの実現方法にはいくつかあるのですが、メルペイ DataPlatformでは以下の2つの方法を使ったパイプラインを構築しています。 Striim社のブログ がよくまとまっていたので、こちらから引用させ

  • Debezium
  • kafka
  • BigQuery
  • mysql
  • あとで読む
  • アーキテクチャ

  
• あとで読む

  【DataPipelineを触ってみる】DynamoDBからS3へのエクスポートをやってみた | DevelopersIO

  • 4 users
  • dev.classmethod.jp
  • テクノロジー
  • 2019/08/21

  こんにちは、大前です。 DataPipeline を全く触ったことがなかったので、以下の公式チュートリアルに沿って DynamoDB のデータを S3 にエクスポートしてみましたので記事を書いていきます。 AWS Data Pipeline を使用して DynamoDB データをエクスポートおよびインポートする やってみる 事前準備 Data Pipeline を使う前に何点か事前準備をしておきます。 ロールの作成 Data Pipeline を使用するには、以下の２つのロールが必要です。 DataPipelineDefaultRole — パイプラインによって自動的に実行されるアクション。 DataPipelineDefaultResourceRole — パイプラインによって自動的にプロビジョニングされる AWS リソース。DynamoDB データのエクスポートとインポートの場合、これ

  • AWS