Gunosy のデータ活用を支える統合データ基盤 Baikal の話 - Gunosy Tech Blog

はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて

[sh19910711]

"Baikal > 透明度の高い、管理・整備の行き届いたデータレイクを作る / 活用が進んだ１つの要因として Lake Formation の Cross-Account Access Permission / 自身のアカウント内にある Athena テーブルのように扱うことができるように"