【Adjust AWS連携】AdjustのローデータをS3経由でRedshiftにエクスポートする - Qiita
スタートアップで働くRailsエンジニアです。 今回、Adjustローデータをユーザーの行動分析や広告効果の検証に活用しようということで、たまたまAdjust、S3、Redshiftを触る機会があったため作業メモとして残します。 Redshift、クエリの実行が早くて助かりますよね。Adjustローデータような大きなデータに対してクエリを実行して分析結果を得たいような場合、かなり良い選択肢ではないかと思います。 個人的にAdjust関連のドキュメントがとっつきにくかったため、アドテク分野そんなによくわからないけど急遽触ってみることになった、など私と同じ境遇の方の参考になれば幸いです。 やりたいこと Adjustローデータ ↓ csv形式で毎時自動アップロード S3 ↓ csvファイルのデータを1日1回コピー Redshift(サービス分析基盤) 前提 Redshift側は既存環境を利用(ク
デフォルトのRDSキーで暗号化されたスナップショットの共有 - Qiita
概要 RDSのスナップショットを共有する際、デフォルト以外のAWS KMSを利用した暗号化であれば、問題なく行える。 AWS 公式 - 暗号化された Amazon RDS DB スナップショットを別のアカウントと共有する方法 ただ、デフォルトの暗号化キーで暗号化されたスナップショットを共有(上図のShare)できない。 予想ですが、デフォルトの暗号キーを別アカウントに共有できないためだと思われる。 デフォルトの AWS KMS 暗号化キーを使用して、暗号化されたスナップショットを共有することはできません。 とAWS公式も無理だと言っていますが、以下の手順で共有が可能でした。 スナップショットを取得する。 KMSにてカスタマー管理型のキー(CMS)を作成する。 CMSを共有する。 スナップショットをCMSで暗号化してコピーする。 スナップショットのコピーを共有する。 共有したスナップショット
AWS DMSを使ってみた（ノウハウ） - Qiita
はじめに ちょっと前に仕事でAWS DMSを使ったので、その時のノウハウです。 DMSはDatabase Migration Serviceの略で、（基本的には）DBからDBへ移行するためのツールです。 AWS DMS 自分が実際に使ったのはOracle→Aurora MySQLの移行です。 ターゲットDBのテーブルは予め作っておく DMSは、ソースDBからデータを抜き取り、一度DMSのデータ型に変換して、 更にターゲットDBのデータ型に直してデータを入れていきます。 この過程で意図しないデータ型に変換されてしまうことがあるので、 ターゲットDBには予め意図した型のテーブル・カラムを作成しておいてから、データ移行を行ったほうが良いです。 データの変換テーブルは以下のページなどを参照。 AWS Database Migration Service のデータ型 OracleがソースDBの時のデ
Golang製DBマイグレーションツールgoose + MySQLを試してみた - Qiita
gooseとは Golang製のDBマイグレーションツール https://bitbucket.org/liamstask/goose/ なんでgoose？ プロジェクトのプログラムとは離した状態でマイグレーションを導入したかった。プロジェクトごとにマイグレーション手段が変わるのが嫌だったから。 SQLをそのまま書けるので学習コストが高くなさそう。 Golang製のツールを使ってみたかった。 導入まで 参考: http://enomotodev.github.io/post/use-goose/ goは導入済みとして $ goose goose is a database migration management system for Go projects. Usage: goose [options] <subcommand> [subcommand options] Options:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
