AuthorsTwitter@__Attsun__Published onMonday, March 20, 2023 この記事について私が現在所属する Ubie Discovery（以下 UD）で働く Data Engineer の視点で、他データ職種との関わりや違いについて書きました。 カジュアル面談など社外の方とお話する中で、以下のような質問が頻出するため記事としてまとめてみようと思った次第です。 Analytics Engineer と Data Engineer の違いは？Data Engineer は実際、どのような業務をしているの？技術的にはどのようなスタックで仕事をすることがあるの？TL;DRUbie Discovery には、Data Engineer, Analytics Engineer, ML Engineer といったデータ職種がありますData Engineer
広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4
# Event https://www.meetup.com/tokyo-dbt-meetup/events/287833176/ Tokyo dbt Meetupについて データを扱うすべての人が参加できるネットワーキングイベントです。トークは主にコミュニティメンバーのdbtの経験に焦点を当てていますが、アナリティクスエンジニアリング、データスタック、データマネージメント、モデリング、テスト、チーム構造など、より幅広いトピックに関するプレゼンテーションを聞くことができます。
AI事業本部 アプリ運用センターでデータサイエンティストをしている河中と申します。 今回は内定者としてアルバイトに参加している23卒内定者の稲葉さんに、信頼性が高く分析しやすいデータ基盤を構築するためにdbtというツールを導入するタスクに取り組んでもらいました。その中での技術的な話や内定者バイトを通して学んだことをブログにまとめてくれました。 ぜひ一読ください！ 23卒エンジニア職内定者の稲葉です。2022年10月から3ヶ月間、AI事業本部小売DXディビジョンのアプリ運用センターでアルバイトをさせていただきました。私は、今までデータサイエンティストやバックエンドエンジニアなど幅広く技術に関わってきましたが、今回はアナリティクスエンジニアとしてデータ基盤の改修を行いました。 本稿では、Snowflake上で構築されているデータ分析基盤を dbtやgithub actionsのCI/CDを用い
大阪オフィスの玉井です。 12月7日〜11日の間、Fishtown Analytics社がcoalesceというオンラインイベントを開催していました（SQLを触っている方はピンとくるイベント名ではないでしょうか）。 「Fishtown Analytics社って何やってる会社？」という感じですが、dbtというツールを開発しているベンダーです。dbtについては、下記をご覧ください。 今回は、その中からPresenting: SQLFluffセッションを受講したので、レポートを記します。 イベント概要 公式 Coalesce 2020 online - December 7-11, 2020 Presenting: SQLFluff - Coalesce 2020 online - December 7-11, 2020 登壇者 Alan Cruickshank, Head of Data wi
![[レポート] SQL用リンター「SQLFluff」 #dbtcoalesce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/85281d1589a19c5d28bff75bb55314b9cd7de5f4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F12%2FCoalesce_2020_online_-_December_7-11__2020.png)
クエリで実現したいことを自然言語で書けば ChatGPT が BigQuery SQL に変換してくれる CLI (Command Line Interface) を langchain で作りました。 https://github.com/algas/bigquery-generator-ai クエリに関連する BigQuery のテーブル名(複数可)を渡すとそのテーブルのスキーマ(だけ)を取得します。 テーブルのデータ内容は取得しない(データ取得権限を付与しない)ので機密漏えいの心配はありません。 対象読者 次のいずれかに当てはまる BigQuery ユーザを対象としています。 SQL を書くのが苦手な人 SQL を書くのが苦手な人に SQL を書いてもらう必要がある人 ChatGPT を使ったアプリケーション開発に興味がある人 アプリケーションの概要 このツールが何をするのかを簡単に
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
初めまして。YOUTRUSTでデータアナリストをしている宮﨑(@ikki_mz)です。 普段は、施策の効果見積もりや検証、ダッシュボード作成、KPI管理、分析基盤整備など、データにまつわる諸々の業務に携わっています。 今回は、YOUTRUSTでこの半年ぐらい取り組んでいた、dbt導入とDWH（Data Ware House）整備について、だいぶ整備が進んできて知見も溜まってきたので、これまでやってきたことや、得られたメリットについて書いていきます。 この記事は主に、次のような方に向けて書いています。 （既にdbtを導入している方には当たり前の内容になっているかもしれません） ・dbtを導入しようか迷っている人 ・DWHをどういう構造にすればいいのか迷っている人 ・YOUTRUSTのデータ分析環境に興味がある人 何か少しでも参考になることがあれば幸いです！ YOUTRUSTの分析環境 はじめ
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
BigQuery と Fivetran によるデータ パイプラインの自動化 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 9 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 金融、小売、物流など、あらゆる業種の企業はすべて、「プロダクトの市場の状況を把握するにはどうすべきか」という一般的な水平分析の課題を抱えています。この問題を解決するには、詳細なマーケティング、セールス、財務分析を行って、より広範な市場における自らの位置を理解する必要があります。こういった分析では、ビジネス運営の効率性の向上につながる分析情報を企業のデータから取り出します。また、さまざまなデータソースからデータを収集する、収集したデータを一元化されたデータ プラットフォームに統合する、レポートやダッシュボードの開発に対応した分析機能を開発するといった一般的な一連のタスクを行います。 このような課題に対する最も一般的なソリューションでは、大規模な一連のツールが必要で、それぞれ
August 11, 2020 • 13 minute read • Dagster: The Data Orchestrator As machine learning, analytics, and data processing become more complex and central to organizations, improving the software behind them becomes more urgent. Data within organizations is disorganized and not trusted. Engineers and practitioners feel unproductive and mired in drudgery. Collaboration between data scientists, data engi
データ基盤を支えるdesign doc
この記事はdatatech-jp Advent Calendar 2022の12月11日の記事です！ 概要 自チームでデータ基盤を作っていく際に使っているdesign docの紹介と、導入背景をここに記します 感じていた課題感 レビュアーにアサインされてプルリクを見るときに「このプルリクはどういう背景があって、どういうコードを書いたのか、どういうテストをしたから大丈夫なのか」を汲み取るのに時間がかかるなって思っていた 備忘録的にissueにたてる、とりかかるときにタイトルだけ埋めたissueを立てて走り出す、ということが多く感じて、事前に整理しておくともっと効率が上がるのではと思った データ基盤を作っていく際に、ログやテーブルの値の意味などをエンジニアにヒアリングすることがあるが、それをちゃんと蓄積したいと思った これに関しては、別途Notionで蓄積してるものがあるのですがGithubに
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。 SQL スタイルガイドを導入した背景 現在 dbt を利用したデータパイプライン開発が活発になってきています。 データパイプラインは「信頼性の高い分析」を効率的かつ迅速に実現するために構築します。 そのため、データの信頼性を担保する仕組みは積極的に導入したほうが良いと考えられます。 今回は以下のような点でデータの信頼性を担保できると考え、 dbt 開発環境に SQLFluff (L
エイシングは新たなエッジAIアルゴリズム「MST」を開発した。これまでに発表した「DBT」や「SARF」などと比べて使用するメモリを大幅に削減できるため、フラッシュメモリやSRAMの容量がKBレベルの小型マイコンにも実装できる。 エイシングは2020年12月15日、新たなエッジAI（人工知能）アルゴリズム「MST（Memory Saving Tree）」を開発したと発表した。エイシングがこれまでに発表した「DBT（Deep Binary Tree）」や「SARF（Self Adaptive Random Forest）」などのエッジAIアルゴリズムと比べて使用するメモリを大幅に削減できるため、フラッシュメモリやSRAMの容量がKBレベルの小型マイコンにも実装でき、エッジAIの処理速度や精度も従来アルゴリズムと同等とする。MSTは2021年1月から提供を開始する予定だ。 同社は、AI技術とし
「Looker User Meetup Online #8」にて登壇した内容となっております
dbt特化型BIツール『Lightdash』を Cloud Run x Cloud SQL でホスティングしてみた - Qiita
リポジトリの準備 今回は公式が公開しているCloud Runで動かす用のリポジトリを利用していきます。 また、Private リポジトリで作成したかったため、下記手順を踏みました。 git clone --bare git@github.com:lightdash/lightdash-production-example.git cd lightdash-production-example.git # private リポジトリで空の lightdash-cloud-run-sql リポジトリを作成 git push --mirror git@github.com:{{ 自身のGithubアカウント }}/lightdash-cloud-run-sql.git cd ../ rm -rf lightdash-production-example.git lighdash-entrypoi
Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。 | DevelopersIO
Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。 こんにちは、みかみです。 キッチンの窓の網戸に20cm級のナナフシがとまっていて、思わず見惚れてしまいました。 やりたいこと Google Cloud に統合された Dataform をさわってみたい Dataform をバッチ処理で使いたい Cloud Composer から Dataform を実行したい Dataform とは SQL like なコード（SQLX）でテーブルやビュー作成クエリを記述することで、テーブル間の依存関係を管理しながら DWH に SQL を実行できる、データモデリングツールです。 以前は独立した SaaS サービスでしたが、2020年12月に Google 傘下に加わったことにより、現在は BigQuery データのモデリングツールとし
ローカル環境のみ利用したdbtチュートリアル
dbtの公式チュートリアルはBigQueryなどクラウド環境を利用する前提で書かれていたので、ローカル環境だけでできるようにDuckDBを用いたチュートリアルを書きました。また、公式チュートリアルにはgitの操作なども含まれていたため、dbtを利用するのに最低限必要そうなもののみに絞って書こうと思います。 以下の素晴らしい記事を参考にして書いています。 dbt公式チュートリアル Getting started with dbt Core | dbt Developer Hub DuckDBとdbtとRillで作るローカルで動くDWHっぽいもの dbtとは？ dbtはETL（Extract/Transform/Load）でいうところのtransformationのワークフローを助けてくれるツールです。 dbtを利用することのメリット 変数のようなものを利用できて、同じようなSQLを書かなくて
データアナリストからアナリティクスエンジニアへ：スキルギャップと克服 - 現実モデリング
はじめに 前にも書いたが、「アナリティクスエンジニア」を採用するのは難しい。そもそもアナリティクスエンジニアの知名度が低いし、スキルを持っている人が採用市場に少ない。 しかしニーズはある。以下のようなケースでは、アナリティクスエンジニアはかなりほしい人材だ。 会社全体でデータ分析に対するニーズが高い場合 例えば、競争環境の激しいマーケットを相手にしている状況など この場合、データに対する需要をアナリスト単体では満たすことができなくなるため、ダッシュボードを利用して分析環境をスケールさせるのが常套手段になる この段階でテーブル設計・パイプライン設計が行われるため、アナリティクスエンジニアの出番となる 定常的なデータ分析が求められている場合 日時でKPIを見る場合など、分析がパターン化できそうな場合 アドホックにやるのが面倒になってきたタイミングでテーブル設計・パイプライン設計が行われるため、
G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペース 開発ワークスペースとは 開発ワークスペースの初期化 開発手法 リリース設定 (release configuration) アクセス制御 Dataform のアクセス制御 Dataform から BigQuery へのアクセス制御 Dataform core と SQL Dataform core / SQLX とは Dataform core の機能 SQLX ファイル ファイル構成 config ブロック body ブロック データソースの宣言 ワークフローの実行 実行契機 (トリガ
MetricsファーストなSemantic Layer時代のBIツール「Steep」を試してみた | DevelopersIO
さがらです。 昨今、事前に各種指標のロジックをMetricsとして定義しておき、その定義したMetricsを外部のBIツールやAPIを用いて参照できる仕組みや機能が出てきています。この仕組みや機能が「Semantic Layer」と呼ばれ、具体的な製品名としては、Looker、dbt Semantic Layer、Cubeが該当します。 そして、このSemantic Layerを活用することに特化したBIツールとして「Steep」という製品があります。 今回このSteepを試してみたので、その内容をまとめてみます。 Steepとは Steepは、2021年にJohan Baltzar氏とNino Höglund氏によってストックホルムで設立された企業です。 そして、2022年10月にpre-seedラウンドでの100万ユーロの調達と共に、企業名と同じプロダクトであるSteepを発表・公開し
新・エンジニアの祭典 TechFes2022を開催しました - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2022 DAY 19 の記事です。 今井です。全社のエンジニアにとって年1の社内イベントとしてTechFes2022を開催しました。TechFes2022に運営の一人として開催に携わったため、レポートします。 イベント概要 コンセプトとイベント名称の変更 参加者の変化 スペシャルトーク エントリー一覧 イベント振り返り まとめ イベント概要 TechFes2022を11月25日に開催しました。こちらは、毎年恒例となっていたエンジニアの祭典「Tech Award」の名称を変更し開催したものです。 made.livesense.co.jp made.livesense.co.jp コンセプトと名称変更の詳細については後述しますが、例年の「エンジニアがお互いの業務を評価しあい、優れた成果を出した取り組みを表彰するイベント」から、「エン
大阪オフィスの玉井です。 dbtはSQLだけで柔軟なデータ変換を作ることが出来ますが、作成したデータに対してテストを実行することができます。 「データをテストする」ということ ソフトウェアエンジニアリングではテストするのが普通 何らかのアプリケーションを開発されたことのある方ならわかると思いますが、開発したものに対しては、必ずテストを行うと思います。特に、昨今のアプリケーション開発では、テストコードなるものを記述することも珍しくありませんよね（私は「人力+Excelにスクショ貼り付け」の時代しか知らない人間です）。 コードにできるということは、バージョン管理ができるということです。そして、CI/CDの手法がとれるということです。CIというのは、継続的インテグレーションの略で、ざっくり言うと、共有リポジトリにコードをマージした際、自動でビルドとテストをやってくれるというものです。 この、アプ
![[dbt] 作成したデータモデルに対してテストを実行する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6172dee51c84ef7822379d7334691c90332d7023/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F08%2Fd72f41d6eb099a8fa0ef2791ad2b18a7.png)
はてなブログ独自の集計による人気記事のランキング。2月11日（日）から2月17日（土）〔2024年2月第3週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 google検索の劣化して専門家はdiscordに行ってしまいインターネットには屑情報だけになってしまった - orangestar2 by id:orangestar 2 我々の愛したGoogle検索はすでに死んでいる - novtanの日常 by id:NOV1975 3 ダイソーで買うと安い食品ベスト10 - 東雲製作所 by id:shinonomen 4 スキル0から1年間でマルウェア解析を習得した学習方法 - the_art_of_nerdのブログ by id:the_art_of_nerd 5 『エルフ夫とドワーフ嫁』の感想と『絵描きの婚活レポ』における失礼について - whkr’s diary by id
この記事はRetty Advent Calendar 2022の22日目の記事です。 adventar.org adventar.org Rettyのデータ分析チームMGR平野です。 毎年恒例の”Rettyデータ分析チーム振り返り記事”です。（過去記事：2021年 / 2020年 / 2019年 / 2018年） 今年は、去年掲げた今後の課題”データマネジメントの強化＆定量/定性分析の精度向上”に対する変化という視点で書きました。 ＜去年掲げた課題と変化＞ 課題1：データマネジメントの強化 →変化①：データ基盤の運用を"内製ツールで全部やる"から"外部ツールやSaaSを積極活用へ" 課題2：定量/定性分析の精度向上 →変化②：ディスカバリーの関心事が”やる・やらない”から”やり方・プロセス”に そして記事の最後は、来年のデータ分析チームの体制変更について触れています。ぜひ、最後までご覧いた
dbtの公式入門ドキュメント『Quickstart for dbt Cloud and BigQuery』を実践してみた #dbt | DevelopersIO
dbtの公式入門ドキュメント『Quickstart for dbt Cloud and BigQuery』を実践してみた #dbt dbtでは公式・非公式を含め、非常に多くのWeb資料が公開されています。dbtがどんな機能を備えているのか、どんなUIや画面デザインなのかを把握するのはやはり実際にモノを動かして試してみる、挙動を体験してみるというのが一番ですね。 そこで当エントリでは、全15パートで構成されているdbt公式の入門向けドキュメント『Quickstart for dbt Cloud and BigQuery』を実際に試した内容をお届けしたいと思います。 目次 01.はじめに 02.新しいGoogle Cloudプロジェクトを作成 03.BigQueryデータセットの作成 04.BigQuery環境へアクセスするための認証情報を作成 05.dbt Cloud環境からBigQuery
Snowflake & dbt Cloudハンズオン実践 #1: 『Snowflake環境準備』 #snowflakeDB #dbt | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 Snowflakeが展開しているサイト『Snowflake Quickstarts』では、Snowflake単体、またSnowflakeと他サービスとの連携について実戦形式で手を動かしながら学んでいけるコンテンツが多数公開されています。 その中の1つ『Accelerating Data Teams with Snowflake and dbt Cloud Hands On Lab(Snowflake と dbt Cloud ハンズオン ラボを使用してデータ チームを加速する)』は、dbt CloudとSnowflakeを連携させる形で、Snowflakeのデータを使ってdbt Cloudでデータ変換の処理を作り上げていく流れを学ぶことが出来る非常に参考になるコンテンツです。 当エントリ及び一連の
dbtCloudから作成したPullRequestにコンパイル済みSQLをコメントする仕組みを作成した話 - Timee Product Team Blog
こんにちは☀️ タイミーでアナリストとアナリティクスエンジニアしてますokodoonです 今回の記事はdbt CloudでPull Requestを作るときに、レビュー負荷が高くなってしまっていた問題を解消できるように、コンパイル済みのSQLをPR上にコメントするような仕組みを作成したことについての紹介です。 もし同じような課題感を抱えている方がいらっしゃれば、参考にしていただければ幸いです 課題感 今回選択した解決策 背景/前提 実装概要 各ステップの説明 PRの情報をもとにprofiles.ymlの動的生成 コンパイル処理の実施 PR上にコメント どんなふうに動くかみてみる 結果 We’re Hiring! 課題感 弊社のデータ基盤ではDWH層DataMart層は「分析用に加工されたデータを扱う層」として定義しています。 各種ドメインに依存した集計や変換のロジックが含まれるため、この層
Star Schema vs. OBT for Data Warehouse Performance | Blog | Fivetran
Which data warehouse schema offers better performance? Let’s find out. ContentsStar schema vs. OBT: An analysis of which is better for your data warehouse The results: Denormalized tables result in faster query response Analysis details Other considerations Data warehouse modeling is a crucial but overlooked part of the development of a data warehouse. Data warehouse modeling is the process of
dbtとデータパーティショニングで、大量データを扱う
dbt Advent Calendar 2022 の20日目の記事です。 背景 筆者は、dbtを使った広告プラットフォームのデータ基盤の構築・運用をしています。 この基盤は、最初からdbtを使っていたわけではなく、過去にフルスクラッチから、dbtへのリプレイスをしました。 広告レポーティング基盤に、dbtを導入したら別物になった話 そのdbtへのリプレイスで、当初困ったことがありました。世の中で紹介されているdbtのサンプルコードは、データ量が少ないもの（広告に比べると）を前提にしているので、大量データを扱っている筆者にとっては参考に出来るものがありませんでした。 けれども、元々フルスクラッチで実装していた時に、採用していたパーティショニングを使ったデータ処理のパターンが、dbtでの実装においても、非常に有効だったので、今回はそれについてシェアします。 今回、紹介する設計は、データウェアハ
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
大阪オフィスの玉井です。 dbt界隈の人たちがこぞって推奨している（ように思える）ツールであるDagsterを使ってみました。 Dasterとは？ 公式の紹介文を引用します。 Dagster is a data orchestrator. It lets you define pipelines (DAGs) in terms of the data flow between logical components called solids. These pipelines can be developed locally and run anywhere. 「データオーケストレーター」と言われると、なかなかピンときませんが、ジョブ管理ツールの一種と思っていただければわかりやすいと思います（Apache Airflow等と同じカテゴリ）。データパイプラインの開発はもちろん、一連の処理の運用
dbt x snowflakeで使っていないテーブルとビューを安全に一括で削除する - CARTA TECH BLOG
概要 こんにちは、4月に新卒で株式会社CARTA HOLDINGSに入社し、現在はCARTA MARKETING FIRMのデータエンジニアをやっているharukiです。 私たちのチームでは、dbtとsnowflakeを使ってデータ基盤を構築しています。 データ基盤を使うエンジニアが増え、dbtのモデル数が増えてきたのですが、その中には使わなくなり削除したdbtモデルもありました。 dbtモデルを削除しても、Snowflake上の対応するテーブルやビューは自動的には消えないため、使われないsnowflake上のテーブルやビューが増えて目立つようになってきました。 そこで、dbtモデルとしては削除されているが、snowflake上に残ってしまっているテーブルやビューを一括削除できる処理を考えました。 想定読者 dbtとsnowflakeを使ってデータ基盤を開発している方 この記事を読んでわか
Flutter: Native Web and Mobile App Development with Allen Wyma - Software Engineering Daily
Flutter: Native Web and Mobile App Development with Allen Wyma Flutter is a UI toolkit developed by Google that helps developers build natively compiled applications for mobile, web, desktop, and embedded devices from a single code base. Development is fast because the screen “hot reloads” as you develop, the architecture is layered for fast and expressive designs, and its widgets incorporate all
PayPayのデータ分析基盤を支える専門組織が語る、開発体制とDWH/BIツール技術とは - TECH PLAY Magazine
登録ユーザー数5000万人、決済回数は36億回を超える「PayPay」。モバイルペイメント機能だけでなく、多機能なサービスを統合するスーパーアプリであり、日々大量のデータが蓄積されている。その膨大なデータセットにおけるデータ活用においては、どのように問題解決しているのか。全社データ分析基盤の開発・管理を行う専門組織である「データマネジメント部」が取り組んできた課題やDWHとBIツールを活用した解決策を語ってくれた。 PayPayデータ基盤チーム立ち上げと役割・運営について PayPay株式会社 コーポレート統括本部 システム本部データマネジメント部 部長 三重野 嵩之氏 まず、登壇したのはデータマネジメント部 部長の三重野嵩之氏。三重野氏は建設コンサルタントを1年半、北海道・札幌でSESを1年半、SIでソフトウェアエンジニアを約6年経験。このSIで小売企業向けのデータ分析基盤を構築した。そ
[新機能]MetricFlow統合後のdbt Semantic LayerをTableau Desktopから参照してみた | DevelopersIO
[新機能]MetricFlow統合後のdbt Semantic LayerをTableau Desktopから参照してみた さがらです。 現地時間10月16日～10月19日で、dbt Coalesceが開催されました。 基調講演で発表された新機能については、下記のブログが参考になります。 この基調講演で、MetricFlow統合後のdbt Semantic Layerが一般提供になったと発表がありました！ 連携できるパートナー製品も併せて発表され、なんとTableauも含まれています。 ということで、実際にTableau DesktopからMetricFlow統合後のdbt Semantic Layerを参照してみたので、本記事でその内容をまとめてみます。 ※Tableauからdbt Semantic Layerへ接続するコネクタは2023年10月28日時点ではBeta版のため、ご注意くだ
![[新機能]MetricFlow統合後のdbt Semantic LayerをTableau Desktopから参照してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1417ef1e2f80ffd0dc7e342cdb49000e0edf401a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F01%2F4fded2ea935a271f5a3dd88bea596798.png)
[レポート] Infrastructure-as-Code and the Modern Data Experience (IaCとモダンデータエクスペリエンス) #futuredata | DevelopersIO
[レポート] Infrastructure-as-Code and the Modern Data Experience (IaCとモダンデータエクスペリエンス) #futuredata 大阪オフィスの玉井です。 2021年10月13日 午前9時～午後3時（米国太平洋標準時）、Future Dataというデータ分析に関するオンラインカンファレンスが開催されました。 この記事では、このイベントの「Infrastructure-as-Code and the Modern Data Experience」というセッションのレポートをお届けします。 セッション情報 登壇者 Tristan Handy氏（Founder and CEO, dbt Labs） 概要 The devops movement transformed system administration--once manual,
![[レポート] Infrastructure-as-Code and the Modern Data Experience (IaCとモダンデータエクスペリエンス) #futuredata | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/41da970696dd378a12d4dcc50086eaef4186553b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F10%2FFUTURE_DATA_logo_noSISU.png){kind=logo}
データ基盤における管理の考え方 〜dbtの極意〜：LayerXにdbtを導入するときに意識したこと
データ基盤における管理の考え方 〜dbtの極意〜 https://findy.connpass.com/event/291767/ [カジュアル面談リンク] 全員アナリストを実現するData Enablingを支えるData Engineeringについて語らいましょう〜〜！！！ https://jobs.layerx.co.jp/2c0258fa624f4a25975bc59767a81225 [資料中のリンク] バクラク事業におけるデータ組織とデータ基盤 2023：https://tech.layerx.co.jp/entry/bakuraku-data-management-2023 バクラクにはアナリストが不在？いいえ全員アナリストです！そんな理想を実現するData Enabling teamをつくります：https://note.com/shuntak/n/na78d757de5
2023-08-22 データ基盤管理の考え方 〜dbtの極意〜 Lunch LT の登壇資料です
DevelopersIO 2021 Decadeで俺が考える「ユーザーにちゃんと使用されるダッシュボード」について語りました #devio2021 | DevelopersIO
さがらです。 2021年10月13日に開催されたDevelopersIO 2021 DecadeのDAY5：DATA ANLYTICS DAYで、俺が考える「ユーザーにちゃんと使用されるダッシュボード」について語りますというタイトルで登壇しました。 本ブログでは、この登壇内容についてまとめたいと思います。 登壇概要 概要 昨今LookerなどのBIツールは第3世代BIと呼ばれることもありますが、第1世代～第3世代のどのBIツールでも共通して「ダッシュボードを作ったけどユーザーに使われない」という課題があると感じています。そこで、このセッションでは私のこれまでの経験に基づいた「ユーザーにちゃんと使用されるダッシュボード」についてまとめ、お話します。 登壇資料 ダッシュボードが使われない問題とは ダッシュボードを作る時、楽しくて細部まで拘ったり、BIツール固有の表現なども用いて、「これだ！」と
Enterprise Data Warehouse Overview The Enterprise Data Warehouse (EDW) is used for reporting and analysis. It is a central repository of current and historical data from GitLab’s Enterprise Applications. We use an ELT method to Extract, Load, and Transform data in the EDW. We use Snowflake as our EDW and use dbt to transform data in the EDW. The Data Catalog contains Analytics Hubs, Data Guides, D
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ubie Discovery における、Data Engineer と他データ基盤系職種の関係
データ基盤へのdbtとCI/CDの導入を内定者がやってみた！ | | AI tech studio
[レポート] SQL用リンター「SQLFluff」 #dbtcoalesce | DevelopersIO
ChatGPT API を使って BigQuery SQL を自然言語で記述する CLI を作った - Qiita
アイリッシュマン | Netflix (ネットフリックス) 公式サイト
YOUTRUSTでdbtを導入した話｜ikki / Data Analyst / YOUTRUST
イカゲーム | Netflix (ネットフリックス) 公式サイト
Dagster: The Data Orchestrator | Dagster Blog
dbt 開発で使える SQL スタイルガイドを導入した話
リアルタイムに学習できるエッジAIが進化、メモリがKBレベルのマイコンにも対応
dbtとLookerにたどり着いたデータ基盤 ~混ざり合う境界線を考える~
Dataformを徹底解説 - G-gen Tech Blog
[dbt] 作成したデータモデルに対してテストを実行する | DevelopersIO
今週のはてなブログランキング〔2024年2月第3週〕 - 週刊はてなブログ
Retty データ分析チーム2022振り返り - Retty Tech Blog
浅草キッド | Netflix (ネットフリックス) 公式サイト
データオーケストレーションツールのDagsterを使ってみた | DevelopersIO
Ubieのデータ品質の検査・維持・向上への取り組み
Enterprise Data Warehouse