dbt導入によるデータマート整備 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
Lookerの埋め込みダッシュボードを社外提供する上での課題と解決策 - pixiv inside
アドプラットフォーム事業部 アドプロダクト部 データチームでアナリティクスエンジニアをしているucchi-です。普段は主に、pixiv Adsという広告ネットワークのデータ周りを開発しています。 ads.pixiv.net 今回は、pixiv Adsで採用している、Lookerの埋め込みダッシュボードについて紹介します。 はじめに ピクシブでは全社的にLookerを使用しています。Lookerを使うことで、BigQueryに保存されている品質の高いデータを気軽に分析することができ、社内の仮説検証や意思決定に役立っています。 一方で、Lookerは社内の分析用途だけではなく、社外へのデータ提供にも活用できます。 具体的な手段はいくつかありますが、pixiv Adsでは、「シングルサインオン（SSO）組み込み」という形式で、クライアント向けの広告管理画面にLookerのダッシュボードを埋め込ん
LookerがGoogle Cloudのコンソールから起動できる！？「Looker (Google Cloud core)」の無料トライアルを試してみた | DevelopersIO
LookerがGoogle Cloudのコンソールから起動できる！？「Looker (Google Cloud core)」の無料トライアルを試してみた さがらです。 LookerはGoogle Cloudに買収された後もGoogle Cloudのコンソールから起動は出来ず独立したサービスでしたが、この度Google Cloudから起動できる「Looker (Google Cloud core)」がリリースされました！ 30日間の無料トライアルも提供しているようなので、早速試してみました。その内容を本記事でまとめてみます。 2023年8月3日追記 こちらのトライアルですが、トライアル後不要になったら、対象のLookerインスタンスを忘れずに削除しましょう！！ トライアル期間終了後、自動で費用が発生する仕様となっております。 これからトライアルされる方はご注意ください。 事前準備：OAuth
The 5 essential data quality checks in analytics | dbt Labs
We’ve talked about the core data quality dimensions and how to think about them with intentionality. We’ve explained how to put those in a framework that is guided by your business. Let’s use this page to talk about the actual foundational data quality checks you should be running on your data, and how dbt Cloud can help make these tests simpler and automated. We’ll cover the concepts of: uniquene
[Looker] lkmlfmtでLookMLのフォーマットを統一する - Qiita
概要 開発中のlkmlfmtというフォーマッタがある程度使える段階になったので紹介する。GitHubのREADMEに書かなかった開発動機や実装方針の話も書き残しておく。 背景 Lookerのショートカット一覧を見るとCtrl+Shift+Fでファイルをフォーマットできると書いてあるが、それだけじゃあ足りないのだよ。sql: ;;やhtml: ;;で埋め込まれたコードまでフォーマットする手段がほしい...しかもliquidテンプレートもいい感じに扱ってほしい...そんな動機で開発し始めたのがlkmlfmt。 実装方針 ゼロから自前で実装するのはしんどいので、可能な限り他力本願を貫く。 大枠のLookMLのフォーマットだけ自前で実装する といっても構文解析にはlarkを使ったりとなるべく楽をする sql: ;;で埋め込まれたコードはsqlfmtでフォーマットする jinjaまじりのsqlをフォ
![[Looker] lkmlfmtでLookMLのフォーマットを統一する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b9dcb0a1f67fd7d9dd79f6ae395553e717dcd84c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCTG9va2VyJTVEJTIwbGttbGZtdCVFMyU4MSVBN0xvb2tNTCVFMyU4MSVBRSVFMyU4MyU5NSVFMyU4MiVBOSVFMyU4MyVCQyVFMyU4MyU5RSVFMyU4MyU4MyVFMyU4MyU4OCVFMyU4MiU5MiVFNyVCNSVCMSVFNCVCOCU4MCVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OTQ4MjE0NGI4OTkzNTI3NzEwOTNlZjAyYzMzNTc5Mzg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwa2l0dGE2NSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZTI5NTg3YzBlYzkyNTgzMzUwYzhlYjU3MzVkMTVhYzI%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D4fce9257bec796fec6803d60cbc0a715)
[Looker 23.4新機能]Exploreでのフィールド検索時により検索結果を絞り込めるLabs機能がリリースされました | DevelopersIO
さがらです。 先日、Lookerの23.4がリリースされました。 この内、「パフォーマンスの高いフィールドピッカー」という新しいLabs機能がリリースされました。この機能の説明文を見ると、 パフォーマンスの高いフィールド ピッカー Labs 機能は、ユーザーが大規模な Explore フィールド ピッカーのフィールドをより迅速かつ効率的に検索できるようにする、より絞り込んだ検索オプションを提供します。 …とあるのですが、「検索性能が上がったのかな…？」と感じたくらいで実態が掴めませんでした。 そこで、実際に本機能を試してみたので、その内容を本記事でまとめてみます。 本機能の有効化 この機能はLabs機能としての提供のため、ユーザー側で有効化する必要があります。 まずは、Adminを押します。 次に、Labsを押します。 表示されるBeta機能の内、Performant Field Pick
LookML DiagramでLookモデルを可視化しよう｜テクニカルブログ｜日本情報通信株式会社
本稿は Looker Advent Calender 2022の23日目の記事です。 こんにちは、日本情報通信の中島と申します。 今までSQLを書いたことがなく、BIツールを触るのも初めてだった私ですが、最近ではお客様環境にてLookMLを定義したりダッシュボードを作成することも多くなり、日々勉強の毎日を過ごしております。 さて今日はLookerマーケットプレイスで見かけた「LookML Diagram」という便利そうなコンテンツを利用してみたいと思います！ 目次 LookML Diagramとは？ LookML Diagramの利用方法 LookML Diagramの構成画面 a. 構成説明 b. Object Profiler c. 結合関係 触ってみた感想 1．LookML Diagramとは？ 大量のデータを扱っているとき、どのExploreにビューを追加したらいいのか、今どのよう
BuildingBlockのデザインパターンに従って、組織単位の活用測定と権限管理をした話 - Qiita
はじめに こんにちは。株式会社タイミーのデータ統括部BIチームに所属してます。オコドンです 全社的にLookerの活用を推進していくために、既存の権限管理方法をLookerの提唱するデザインパターンに沿ってリプレイスしてみました。 Lookerが推奨する権限管理方法は知ってるけど、実践すると何かいいことあるの？って方の参考になればと思います。 既存の管理方法と課題感 これまで弊社ではLookerの権限管理にチームとしてリソースを割けておらず、メンバーへの権限付与はLookerで用意されているデフォルトのRoleをそのまま紐づけている状態でした 図: 以前のLooker権限の管理方法 このような権限付与体制だと以下のような課題が解決できず、Looker利用推進をしていくための現状把握や詳細な権限設計がやりづらい状態でした Lookerを"どのチームが"活用しているかわからない "どのチーム"
Lookerの自動インポートした無機質なモデルをDB設計書の情報でラベリングして読みやすくしよう - 電通総研 テックブログ
はじめに BIツールで使い易いテーブルについて 設計ドキュメントからBIツールのモデルファイルを自動生成する LookMLのラベル機能 caseによるラベリング LookMLの継承機能 Viewファイル自動生成ツールの実装 ビルドスクリプト main関数の実装 Excelのパーズ処理 Viewファイルの書き出し処理 まとめ はじめに このエントリは、Looker Advent Calendar 2022における17日目の記事です。 本日は、基幹システムのような歴史的な蓄積がある既存のデータを後付けで可視化する際に問題となる項目のラベリングに関するノウハウを説明します。 蓄積のあるデータベースに対してLookerのようなBIツールを直接接続するだけではうまく分析できません。 それには、様々な理由があります。その中の一つはテーブル名やカラム名がシステム開発にとって都合の良い表現になっており、B
分厚いjoinを複数のexploreに継承して保守性を高める - Qiita
TL;DR 以下の手順を踏むと、元のexploreの全てのjoinを継承し、ベーステーブルのみを差し替えられる いずれかを選択する a. 継承元のexploreにおいて、ベーステーブルをview_nameで指定する b. 継承元のexploreにおいて、ベーステーブルをfromで指定し、独自のview_name名を定義する 継承先のexploreにおいて、extendsで継承元のexploreを指定し、fromでベーステーブルのみを差し替える はじめに Lookerでは、「ベーステーブル」（Exploreのベースとなる、最初に指定するテーブル）に様々なテーブルをjoinしてExploreを作ります。 似たようなベーステーブルが複数存在することはよくあります。例えば、分析のユースケースに従って似たようなサマリーテーブルを複数作成する場合などです。 大量のテーブルによる分厚いjoinがある場合
Looker でグループベースの権限を設定するのに苦労した話｜naoki85
はじめにこんにちは、 Zaim でデータエンジニアをしている、 naoki85 です。 Zaim では BI ツールとして Looker を使用しています。 主なデータソースは BigQuery です。 さて、今回の記事は、グループベースの権限設定で少し苦労した話です。 本記事で伝えたいこと最も伝えたいのは、グループベースの権限を管理したい場合は「クローズドシステム」を有効にするのがおすすめだ、ということです。 Looker のデフォルトでは All Users 権限にすべてのユーザーが所属しているうえ、至る所で All Users に対しアクセスが付与されています。 クローズドシステムという設定は、この All Users というグループを無効にし、各ユーザーには管理者が設定したグループを割り当てるようにするものです。 なおクローズドシステムを有効にするためには、Looker サポートに
Looker のレイヤー化を本番環境に導入してみた - Feedforce Developer Blog
こんにちは。自称 Looker エバンジェリストの id:masutaka26 です。 この記事は Looker Advent Calendar 2022 の 5 日目の記事です。 qiita.com 昨日と一昨日は記事がなくて、その前は BASE 永野さん (@glassmonekey) の「アジリティを保ってデータ基盤を作る取り組み」でした。使用した技術そのものよりも、どのように合意形成してこのような体制に出来たのかが気になりました。👀 今回は奇しくも去年の Advent Calendar その後の話になります。全然狙っていませんでした。たまたまです。 developer.feedforce.jp LookML のレイヤー化とは 導入戦略 実際の導入方法 /_base.layer.lkml /_basic.layer.lkml /layers/*.layer.lkml /*.mode
PayPayのデータ分析基盤を支える専門組織が語る、開発体制とDWH/BIツール技術とは - TECH PLAY Magazine
登録ユーザー数5000万人、決済回数は36億回を超える「PayPay」。モバイルペイメント機能だけでなく、多機能なサービスを統合するスーパーアプリであり、日々大量のデータが蓄積されている。その膨大なデータセットにおけるデータ活用においては、どのように問題解決しているのか。全社データ分析基盤の開発・管理を行う専門組織である「データマネジメント部」が取り組んできた課題やDWHとBIツールを活用した解決策を語ってくれた。 PayPayデータ基盤チーム立ち上げと役割・運営について PayPay株式会社 コーポレート統括本部 システム本部データマネジメント部 部長 三重野 嵩之氏 まず、登壇したのはデータマネジメント部 部長の三重野嵩之氏。三重野氏は建設コンサルタントを1年半、北海道・札幌でSESを1年半、SIでソフトウェアエンジニアを約6年経験。このSIで小売企業向けのデータ分析基盤を構築した。そ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why use both LookML and ELT tools in your data analytics stack | Google Cloud Blog
可読性の高い項目名をつける
Re: Currency Conversion Parameter and Formatting
Gazer vs looker deployer
不要なコンテンツやフィールドを特定してLookerインスタンスをクリーンに保つ
A window into the soul (of your data) | Looker Community