treasureDataの検索結果1 - 2 件 / 2件

• あとで読む

  全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ

  • 40 users
  • analytics.leverages.jp
  • テクノロジー
  • 2024/05/20

  はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12

  • データ
  • BigQuery
  • SQL
  • エンジニア
  • あとで読む
  • 仕事

  
• あとで読む

  TreasureData -> Snowflake へのデータ基盤移行のお話 - FLINTERS Engineer's Blog

  • 3 users
  • blog.flinters.co.jp
  • テクノロジー
  • 2023/09/23

  こんにちは、データマネジメント部でデータエンジニアをしている井山です。 この記事は10周年記念として133日間ブログを書き続けるチャレンジの15日目の投稿になります。 今回は、現在FLINTERSデータチームで行っているデータ基盤移行PRJ（実施中）についてのお話をしたいと思います。 はじめに データ基盤の現状 移行の背景 発生していた問題点 暫定的な対策 移管対応でやったこと等 まとめ Snowflakeにしてよかった点 リソース問題はほぼ解消 格納できるデータ量も無制限なのでライフサイクルも廃止（全期間のデータを格納できる） コスト的な部分でのメリット DWHの構成管理ができるように（一部例外はあるが） メタデータ関連がかなり強力 副次的にいらない・使っていないデータソースとかを排除する動きが活発に 困ったこと・苦戦したこと Digdag WFからのSnowflake接続 Treasu