サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
コーヒー沼
kazuki-hayakawa.hatenablog.com
はじめに 前提として、筆者は事業会社でいくつかのwebサービスを運営している会社にいます。 アクセスログなど日々山のようなデータが蓄積され、しかも複数のプロダクトを管理しているので、なかなかにデータの管理が煩雑になりがちという状況です。 この改善策としてデータレイクとデータマートの考え方が使えるのではないかという話です。 悩みの内容 データが豊富かつ大量にある悩みとしては、 最初に1つのGCPプロジェクトを作成してそこにデータを入れていたが、他のプロダクトのデータもそこに入れていったために1つのプロジェクトに全プロダクトのデータが放り込まれている 権限管理はプロジェクトごとで行っているので、自チーム以外のプロダクトのデータも見れてしまう 情報漏えい等の観点から言うとアクセス制御はなるべく細かくしておきたい 生データばかりなのでSQLクエリを書くなどしていちいち加工する必要が出てくる 分析者
このページを最初にブックマークしてみませんか?
『kazuki-hayakawa.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く