基盤の検索結果1 - 4 件 / 4件

• あとで読む

  データ基盤を支える技術

  • 193 users
  • speakerdeck.com/chanyou0311
  • テクノロジー
  • 2024/05/10

  主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/

  • データ基盤
  • あとで読む
  • データエンジニア
  • 技術
  • BigQuery
  • cloud
  • クラウド
  • データ

  
• あとで読む

  全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ

  • 40 users
  • analytics.leverages.jp
  • テクノロジー
  • 2024/05/20

  はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12

  • データ
  • BigQuery
  • SQL
  • エンジニア
  • あとで読む
  • 仕事

  
• あとで読む

  権限制御とは？ を freee の権限管理基盤で説明 - freee Developers Hub

  • 31 users
  • developers.freee.co.jp
  • テクノロジー
  • 2024/05/14

  どうも、freee でエンジニアリングマネージャー をやっている sentokun です。 以前に私の所属しているチームで開発している権限管理基盤マイクロサービスの記事を書いたのですが、そういえば「権限制御ってなに？」という説明をしていないと思ったので、今回記事にしました。 権限制御とは？ freee の権限管理基盤が行なっている権限制御とは？を一文でまとめると以下となります。 アクセス制御ポリシーを元に、ユーザーの属性に合わせた適切なアクセス制御を行うこと というわけで、この記事は権限制御について説明しました。ありがとうございました！ … とはなりませんよね。ちゃんと一文の中の要素を分解してそれぞれ解説していきます。 ユーザーの属性 適切なアクセス制御 アクセス制御ポリシー ユーザー属性とは？ freee ユーザーが持っている、様々な属性のことです。例えば以下が挙げられます。 管理者やメ

  • エンジニア
  • あとで読む
  • development
  • 開発
  • security

  
• あとで読む

  [GCP]GCPとTerraformでデータ基盤を構築してみた - Qiita

  • 1 user
  • qiita.com/Yuno_nekoisland
  • テクノロジー
  • 2024/05/22

  概要 気象庁の気象情報を取得し、加工した上でBigqueryに登録するデータパイプラインです。 上記構成図の内、赤枠内のサービスをTerraformで定義しています。 また、今回のデータ基盤定義をしたTerraformを上記Gitリポジトリにて公開しています。 実装した背景 現在無職なので、転職用のポートフォリオとして作成しました。 また、GCP・Terraform(あとGit)も触ったことがなかったので、技術スキルを高めることも目的の一つです。 各工程の説明 一連の流れは、下記のとおりです。 ①データ取得 ②データ加工・投入 取得データは、最高気温・最低気温・日降水量の3つです。 これらはLooker Studioで日ごとの遷移を可視化することを想定して選定しました。 記事公開時点ではLooker Studioのダッシュボードを作成していないので、折角なら実装しようかとも思っています。

  • 開発