CI強化、自動エクスポージャー(Automatic exposures)による最新データ反映…『dbt Cloud Launch Showcase』で発表されたその他有用なアップデートの紹介 #dbt 先日ウェビナー形式で開催され、非常に数多くの魅力的な情報が解禁となったdbt。その模様は下記エントリ群で紹介しましたが、 イベント開催後の情報として公式からのブログとしても今回のリリースに関するまとめが展開されていました。 当エントリでは、公開済3本のエントリで言及していなかった部分に焦点を当てる形でその内容を見ていこうと思います。 目次 継続的インテグレーション(CI)の強化 自動エクスポージャー(Automatic exposures) dbt Explorer 自動エクスポージャ(Automatic exposures)の可視化 モデルのクエリ履歴 タイル埋め込み dbt Semant

注目の新機能＆GA(一般利用可能)アナウンスが盛り沢山！『dbt Cloud Launch Showcase』視聴レポート #dbt 日本時間2024年05月15日 午前1時から開催されていたdbt Cloudのウェビナーイベント『dbt Cloud Launch Showcase』。こちらのイベントで数多くの新機能、GAリリースの情報がアナウンスされる形となりました。 差し当たって、プライベートベータ版として紹介された以下2つの新機能『dbt Assist』と『ローコードエディタ』については単独記事としてそれぞれ公開しましたが、 このイベントではその他にも様々な情報がアナウンスされていました。基本的にはdbt公式ドキュメントの以下『リリースノート』に2024/05/14付けの情報として記載されています。当エントリではこのリリースノートを読み解く形でその他発表されたものについて紹介していき

日本時間2024年05月15日 午前1時から開催されていたdbt Cloudのウェビナーイベント『dbt Cloud Launch Showcase』。こちらのイベントで数多くの新機能、GAリリースの情報がアナウンスされていたのですが、その中でかなりインパクトの大きい新機能がアナウンスされていました。 当エントリではその中から『ローコードエディタ(low-code editor)』という機能についてその概要を紹介したいと思います。 ローコードエディタとは dbtは製品概要を紹介する時に良く『SQLが書ければ扱えるサービスである』というフレーズが用いられます。ELT処理における変換処理(T:Transform)を、『モデル』と呼ばれるファイルの中にSQL文(基本的にはSELECT文)を書くことで定義し、その定義したファイルをモジュールとして管理連携することでやりたい処理を実現しています。 但

日本時間2024年05月15日 午前1時から開催されていたdbt Cloudのウェビナーイベント『dbt Cloud Launch Showcase』。こちらのイベントで数多くの新機能、GAリリースの情報がアナウンスされていたのですが、その中でかなりインパクトの大きい新機能がアナウンスされていました。 当エントリではその中から『dbt Assist』という機能についてその概要を紹介したいと思います。 目次 前置き 『dbt Assist』の紹介 まとめ 前置き 冒頭紹介したイベント自体は日本時間2024年05月15日午前01:00〜02:30の90分の枠で行われていました。前半では近年どのサービスでも言及されているように、サービスxAIが如何に重要であるかをデータを元に解説。 分析用のデータを準備するときに最も困難だと思うことは何ですか? - 10年前の最も困難な問題は、少なくともdbtユ

G.W.終わっちゃいましたねぇ。 データ分析 データ分析全般 「データプロダクトのブループリントモデル」と称されたエントリの紹介。データ分析基盤に携わる人であれば読んでおきたい1本。 組織内ニーズをもとにつくられるデータ基盤でも、外部への価値提供も見据えておかなければならないよ、という話と理解。で、そのために、必要なことがわかりやすく図でまとめられているので頭に入れておくだけでも役立つかも。https://t.co/J7fA1MVxS4— Hayato Onodera (@hayato1844) 2024年5月5日 medium.com Databricks の「スタースキーマとは」に関するドキュメントが良いよ！という紹介。他の用語についても端的に解説されてそう。 Databricks の「スタースキーマとは」というドキュメント。めっちゃわかりやすいのよね。こんなにすっきり説明するの、すご

Tableau Public＋ローカル保存機能追加でTableau利活用が更にお手軽＆便利に！『Tableau Desktop Public Edition』が利用可能になりました #TC24 先日(2024年04月29日〜2024年05月01日)に米国サンディエゴで開催されていた『Tableau Conference 2024』にてアナウンスされた『Tableau Desktop Public Edition』。従来実現出来ていなかった『Tableau Publicでのローカルファイル保存』が出来るようになったという触れ込みで、発表された時には非常に大きな反響がありました。 Local file saving is now available on Tableau Desktop Public Edition. Now you can use this 🆕 free capabilit

5/4は投稿してなかったので5/5の分と合わせてアウトプット。 5月から始めたにも関わらず、「読んでおく」記事が結構なペースで積み上がってきている。 積読書籍を1冊数時間で読みたいのもあるが、「積記事(？)」も1記事15分とかそこいらで読む(超ざっくりで良いので要点や感想をまとめる)ってスキルも身に付けていきたい感が出てきたな。1日1時間で3〜4記事そういう感じでインプット＆アウトプットしていくみたいな。その辺もチャレンジしてみよう。 データ分析関連 データ分析全般 先日(5/3)のエントリでも取り上げた複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blogと合わせて「データエンジニアとは」という部分の参考に挙げても良い内容だと思う。ということでブクマ。 データエンジニアのわかりづらい生態やその将来性などについてまとめました。 データエンジニアのことがちょっ

データエンジニアってどういう人？このnoteのモチベーション今、データエンジニアの需要が少しずつ高くなってきています。 元々、データエンジニアリングの分野自体の歴史は古く、インターネットが広まる前からありました。当時はデータベースエンジニアと呼ばれ、主にOracleやMicrosoft SQLといったリレーショナルデータベース、簡単に言うと表形式のデータを扱うことが多かったですが、それらは大企業の大きなシステムで利用される専門性の強い分野でした。 やがてインターネットが広まり始めると同時にSQLサーバを自前で持つ企業も増え始め、そして2010年ごろビッグデータがバズワードとなると、ビッグデータを扱うための様々な技術が現れ、同時にデータアナリストやデータサイエンティストといった職種も台頭し、データの重要性が理解されはじめてきました。 データサイエンティストなどは、データサイエンティストブーム

小ネタです。 2024年05月03日付けのLooker Studioリリースノートにて、Looker Studioでチャートに直接タイトルを追加できるようになりました。タイトルのフォント、色、サイズ、スタイル、位置はプロパティパネルのスタイルタブのタイトルセクションでカスタマイズできるようになります。 Looker Studio release notes  |  Google Cloud 当エントリでは簡単ではありますがこの内容について紹介していきたいと思います。 Learn more about adding and styling titles for charts. 目次 これまでの対処方法(Before) これからの対処方法(After) まとめ これまでの対処方法(Before) いきなりですがこちらのダッシュボード。これは社内限定で公開しているブログ投稿本数に関する年月単位で

2024年04月25日付けのLooker Studioリリースノートにて、新しいグラフ形式「タイムラインチャート」が利用可能になったのと合わせて『Googleスプレッドシート内で直接Looker Studioレポートを作成することができるようになった』という新機能もアナウンスされていました。 当エントリではこの機能(機能というかメニュー展開)に関して内容を紹介したいと思います。 目次 概要 実践 考慮事項 データソースのアップデート 情報やデータの在り方 まとめ 概要 当エントリで紹介する内容については、ざっくり言えば『機能が追加された』というよりは『機能をよりスムーズに使いこなせるようにメニュー構成が便利になった』というものになります。 従来の構成であれば、下記エントリで紹介したように『Googleスプレッドシートでデータを用意する』『Looker Studio側でデータソースを取り込む

先日2024年04月25日に更新されたLooker Studioのリリースノートにて、新しい可視化オプション「タイムラインチャート」が利用出来る旨がアナウンスされていました。 タイムラインチャートを使うと、イベントグループ間の関係を視覚化し、これらのイベントが起こったタイムスパンを比較することができるようになります。 当エントリではこの「タイムライン」チャートについて、必要な要件を確認し、実践データを使って可視化してみるところまでを紹介したいと思います。 目次 必要条件 Looker Studio: タイムラインチャート実践 まとめ 必要条件 タイムラインチャート作成には以下の情報が必要です。 行ラベル：各行のラベル文字。文字列型のディメンションとして指定。 開始日： タイムラインの開始日付。日付型のディメンションとして指定。 終了日： タイムラインの終了日付。日付型のディメンションとして

『30 Days of Streamlit』を3日でやってみた #2 (Day11〜Day20) #30DaysOfStreamlit "『30 Days of Streamlit』を3日でやってみた"シリーズ第2弾、11日目から20日目の実践内容です。 第1弾(01日目〜10日目)の内容はこちら： 目次 実践記録(Day11〜Day20) Day 11: st.multiselectの実装 Day 12: st.checkboxの実装 Day 13: クラウド開発環境を立ち上げる Day 14: Streamlitコンポーネントの活用 Day 15: st.latexの実装 Day 16: Streamlitアプリのテーマのカスタマイズ Day 17: st.secretsの実装 Day 18: st.file_uploaderの実装 Day 19: Streamlitアプリをレイアウト

『30 Days of Streamlit』を3日でやってみた #1 (Day1〜Day10) #30DaysOfStreamlit 近年、データ分析界隈で「Streamlit」がとても人気です。Streamlitは、Pythonを使ってデータサイエンスやAI/機械学習のWebアプリケーションを素早く開発できるオープンソースのフレームワークで、Pythonでデータ処理や機械学習モデルを実装した後、専門的なWeb開発スキルがなくても、それを簡単にWebアプリ化してエンドユーザーに届けることができる代物となっています。データサイエンスの成果をビジネスに素早く活用する上で、非常に有用なツールだと言えます。 このStreamlit、有志の手によって『30 Days of Streamlit』というコンテンツが展開されています。タイトルの通り全30日間のハンズオンカリキュラムが用意されており、難易度

最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力

dbtの認定試験『dbt Analytics Engineering Certification Exam』が5月から新しくなるようです #dbt アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtでは認定試験が展開されていますが、その中の1つ『dbt Analytics Engineering Certification Exam』が2024年05月から新しくなるようです。(公式ページを覗いてみたらそういう案内がされていました) 日付的には2024年05月01日から変わる模様。 当エントリでは、以前のものとどういう部分が変わっているのかについてその内容を確認してみたいと思います。 対象となるdbtのバージョンについて まずはじめに、一番分かりやすい変更点から。対象となるdbtのバージョンが従来の『1.1』からほぼ最新の『1.7』となります。

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 以前執筆、公開した下記のエントリは、dbtでSELECT文以外のDML/DDLを扱う時に「こういう風にSELECT文に置き換えると良いですよ」という案内、紹介をするものでした。 この中で「ストアドプロシージャの移行」に関するトピックもあったのですが、このエントリ内では情報源の紹介のみに留まる形としており、詳細な内容の紹介はしていませんでした。 ですのでその部分の紹介を当エントリで進めていこうと思います。 目次 なぜストアド・プロシージャの代わりにdbtモデルを使うのか ストアドプロシージャの問題点とは 代替案としてdbtを検討する理由 ストアドプロシージャからdbtへの移行手法 ステップ0: dbtの仕組みを少し理解する ステップ1: dbtとストアドプロシージャの違いを理解する ステップ2: スト

[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『Hightouch編』を開催しました。 アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 先日2024年03月06日(水)、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第2回開催回である『Hightouch編』を開催しました。 当エントリではその内容についてレポート致します。 目次 イベント概要 イベントレポート イチから学ぶHightouch データ活用支援サービスのご紹介 全体質疑応答 まとめ イベント概要 第7回目となる今回取り扱うテーマは『イチから学ぶHightouch』です。 ちなみにプレスリリースで告知・紹介を行ったシリーズ開催内容は以下の通りとなっています。

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtはクラウド型データウェアハウス（DWH）におけるデータ変換に特化したツールです。非常に使い勝手が良く便利なツールである一方、様々な機能が提供されているのでいざ使ってみよう！となると『何をどうやって作り上げていけば良いんだろう？』『この場合のルールや制限はどういうものがあるの？どういう取り決めをもって扱えば良いんだろう？』という風に思うこともあるかと思います。(実際私自身そう感じました) そんなユーザーの疑問や悩みを解決する、いわゆるdbtユーザー向けのガードレール的な存在となりうるコンテンツがdbt社から展開されています。それが『dbtベストプラクティスガイド(Best practice guides)』です。構造、スタイル、セットアップなど、dbt Labsの現在の視点を通した「ベストプラク

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtはクラウド型データウェアハウス（DWH）におけるデータ変換に特化したツールです。非常に使い勝手が良く便利なツールである一方、様々な機能が提供されているのでいざ使ってみよう！となると『何をどうやって作り上げていけば良いんだろう？』『この場合のルールや制限はどういうものがあるの？どういう取り決めをもって扱えば良いんだろう？』という風に思うこともあるかと思います。(実際私自身そう感じました) そんなユーザーの疑問や悩みを解決する、いわゆるdbtユーザー向けのガードレール的な存在となりうるコンテンツがdbt社から展開されています。それが『dbtベストプラクティスガイド(Best practice guides)』です。構造、スタイル、セットアップなど、dbt Labsの現在の視点を通した「ベストプラク

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 先日2024年03月28日(木)、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第6回開催回である『dbt編』を開催し、dbt編の内容について登壇(発表)を行いました。 当エントリではその内容についてレポート致します。 目次 イベント概要 イベントレポート イチから学ぶdbt データ活用支援サービスのご紹介 全体質疑応答 まとめ イベント概要 第1回目となる今回取り扱うテーマは『イチから学ぶdbt』です。 ちなみにプレスリリースで告知・紹介を行ったシリーズ開催内容は以下の通りとなっています。 1日目：2024年02月20日(火) イチから学ぶデータメッシュによるデータガバナンス 2日目：2024年02月