モダンデータスタック カテゴリ紹介 #1 『ETL Tools(ETLツール)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 1日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス

気が付けば2023年も残すところあと1ヶ月。 今年も開催直前のこのタイミングで恒例となったこちらの企画＝クラスメソッド社員が企画・参画予定の『アドベントカレンダー』についてエントリー情報をご紹介していきたいと思います。過去のエントリについては下記をご参照ください。 クラスメソッド社員が企画・参加予定の『2022年アドベントカレンダー』のお知らせ | DevelopersIO クラスメソッド社員が企画・参加予定の『2021年アドベントカレンダー』のお知らせ | DevelopersIO クラスメソッド社員が企画・参加予定の『2020年アドベントカレンダー』のお知らせ | DevelopersIO クラスメソッド社員が企画・参加予定の『2019年アドベントカレンダー』のお知らせ | DevelopersIO クラスメソッド社員が企画・参加予定の『2018年アドベントカレンダー』のお知らせ |

Google BigQueryで数値データをTIME型に変換する(Google Analyticsで取得した時間データを同じように見たい) 小ネタです。 こちらのエントリで紹介したように、今年のタイミングでクラスメソッドにおける旧GA(Universal Analytics)のデータを退避、移行する作業を行っていました。 この作業の過程で、「旧GAで時間データとして見えていたものを、BigQuery環境でも同じように見せたい/見たい」という要望が挙がりました。当エントリではその対応の過程をちょっとした備忘録としてまとめておこうと思います。 旧GAで見えていたデータの在り方 旧GA環境へは、担当者はBIツールを介してデータを参照していました。該当する項目はavgTimeOnPage(平均ページ滞在時間)。以下のようにhh:mm:ssの形式で表示されていました。 Google Analytic

2023年11月16日(木)、DevelopersIO著者(＝クラスメソッドグループの社員の皆さん)を対象にした社内イベント『DevelopersIO ブログ勉強会2023 #6』を開催しました。 イベントの関連記事一覧はこちら： 当エントリでは、開催したイベントのセッション内容について概要レポートをお届けします。 目次 イベントの趣旨・経緯・背景など イベントレポート エンジニア志望学生が”ブログの会社”に入社してみて思ったこと〜新卒目線のブログ戦略〜 by おのやん 俺式DevelopersIOブログの取り組み方 by 國崎 まとめ イベントの趣旨・経緯・背景など 社内イベントとして展開している『DevelopersIO ブログ勉強会 2023』。趣旨や経緯、背景などに関しては下記エントリを御参照ください。 イベントレポート シリーズ第6回となる今回は『フレッシュ枠』。Develope

2023年11月15日(水)、クラスメソッドxアノテーションxネクストモード3社による『Notion共有会』の第5回社内イベントを開催しました。 前回第4回の開催内容はこちら： 『Notion共有会』の特集カテゴリはこちら： 当エントリでは、その開催内容についてざっくりではありますが紹介したいと思います。 目次 Notion最新機能紹介(ボタン機能について) Notionで図を描いてみよう！〜ちょっとできるようになるテクニック5選〜 ネクモでサポートしているお客様のいろんな活用事例を紹介！ まとめ Notion最新機能紹介(ボタン機能について) 登壇者：町野誠太郎(ネクストモード株式会社 マーケティング事業部) セッション1つ目はネクストモード町野さんによる特定機能紹介。当回から、Notionの所定の機能に関する紹介をコーナーとして設けてみることにしました。機能を紹介することでNotion

社内イベント『 DevelopersIO ブログ勉強会2023 #4 』を開催しました。(AWS re:Invent攻略回) 2023年11月07日(火)、DevelopersIO著者(＝クラスメソッドグループの社員の皆さん)を対象にした社内イベント『DevelopersIO ブログ勉強会2023 #4』を開催しました。 イベントの関連記事一覧はこちら： 当エントリでは、開催したイベントのセッション内容について概要レポートをお届けします。 目次 イベントの趣旨・経緯・背景など イベントレポート DevelopersIO with AWS re:Invent by 鵜飼亮次 アップデートブログを書こう！ by 丸毛篤史 AWS re:Inventに臨む際の心得 by 佐々木大輔 まとめ イベントの趣旨・経緯・背景など 社内イベントとして展開している『DevelopersIO ブログ勉強会 2

2023年11月02日(木)、DevelopersIO著者(＝クラスメソッドグループの社員の皆さん)を対象にした社内イベント『DevelopersIO ブログ勉強会2023 #3』を開催しました。 イベントの関連記事一覧はこちら： 当エントリでは、開催したイベントのセッション内容について概要レポートをお届けします。 目次 イベントの趣旨・経緯・背景など イベントレポート 『Zennにみる「いい記事」その秘密を解き明かす』 by 和田祐介 『吉井流 ブログを書くモチベーション』 by 吉井亮 まとめ イベントの趣旨・経緯・背景など 社内イベントとして展開している『DevelopersIO ブログ勉強会 2023』。趣旨や経緯、背景などに関しては下記エントリを御参照ください。 イベントレポート シリーズ第3回となる今回は個別セッション発表回。Zennに携わってDevelopersIOとはまた違

社内イベント『 DevelopersIO ブログ勉強会2023 #2 』を開催しました。(ブログとSNS展開に関するパネルディスカッション) 2023年10月25日(水)、DevelopersIO著者(＝クラスメソッドグループの社員の皆さん)を対象にした社内イベント『DevelopersIO ブログ勉強会2023 #2』を開催しました。 イベントの関連記事一覧はこちら： 当エントリでは、開催したイベントのセッション内容について概要レポートをお届けします。 目次 イベントの趣旨・経緯・背景など イベントレポート #1：おつまみさんの発表 #2：nokomoro3 さんの発表 #3：きんじょー さんの発表 まとめ イベントの趣旨・経緯・背景など 社内イベントとして展開している『DevelopersIO ブログ勉強会 2023』。趣旨や経緯、背景などに関しては下記エントリを御参照ください。 イベ

米国時間2023年10月16日〜19日、dbtのカンファレンスイベント『Coalesce 2023』が開催されました。 このイベントは米国(サンディエゴ)の他にも英国(ロンドン)、豪州(シドニー)、そしてオンラインでも展開されていました。オンラインでは無料(！)で数多くのセッションがオンデマンド配信の形で視聴出来るようになっていたので参加登録を行い、各種セッションを視聴していました。 当エントリではオンライン視聴可能なセッションから、米国(サンディエゴ)で発表された「基調講演(dbt Labs product spotlight & keynote)」の内容について、合わせて公開されていた公式ブログの内容も交えてレポートします。 目次 セッション概要 セッションレポート イントロトーク dbt Mesh dbtが直面・解決する『複雑さ』 - 開発者(Developer)目線 [Develo

2023年10月18日(水)、DevelopersIO著者(＝クラスメソッドグループの社員の皆さん)を対象にした社内イベント『DevelopersIO ブログ勉強会2023 #1』を開催しました。 イベントの関連記事一覧はこちら： 当エントリでは、開催したイベントのセッション内容について概要レポートをお届けします。 目次 イベントの趣旨・経緯・背景など イベントレポート 企業広報的な観点からDevelopersIOについて語ります(by 土肥 淳子) DevelopersIOにおける"良い記事"とは何か(by 鵜飼亮次) アドベントカレンダーを完走する技術(by しんや) まとめ イベントの趣旨・経緯・背景など 社内イベントとして展開している『DevelopersIO ブログ勉強会 2023』。趣旨や経緯、背景などに関しては下記エントリを御参照ください。 イベントレポート シリーズ第1回目

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 2023年10月18日、DevelopersIOの著者陣を対象にしたブログ執筆に関するノウハウや知見の共有、執筆者陣の執筆スキル及び質量の向上を目的とした『DevelopersIO ブログ勉強会2023』を開催し、その中で「アドベントカレンダー」に関する発表を行いました。 発表を行ったイベント回の概要レポートはこちら： 当エントリでは発表に用いたスライド資料の共有と、発表するに至った理由的なところについて軽く言及していきたいと思います。 目次 登壇・発表資料 想いとかポイントとか シンプルに『アドベントカレンダー』企画への参加をもっと促したかった 「ひとりアドベントカレンダー」への無謀な挑戦についても後押ししたかった まとめ 登壇・発表資料 当日発表に用いた資料は下記SpeakerDeckにアッ

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 ブログタイトルにあるように、DevelopersIOの著者陣を対象にしたブログ執筆に関するノウハウや知見の共有、執筆者陣の執筆スキル及び質量の向上を目的とした『DevelopersIO ブログ勉強会2023』を開催することにしました。 社内限定イベントなのでDevelopersIO読者の皆様には(後述するように)「開催報告」としてブログでその概要をお届けする形にはなってしまいますが、「社内ではこういうコンセプトや内容を共有しています」というのをお伝え出来ればと思い。今回当エントリの執筆となった次第です。当エントリではその背景や経緯、また開催内容のまとめ記事として諸々紹介したいと思います。 目次 開催に至った経緯 開催方針 開催予定と開催記録のまとめ 第1回：2023/10/18(水) 第2回：2

2023年09月08日(金)、ANAインターコンチネンタル東京にて、Snowflake社による日本最大級のデータイベント「Snowflake Data Cloud World Tour Tokyo」が開催されました。 「Snowflake Data Cloud World Tour」と銘打っているように、このイベントは全世界3つのリージョン(APJ, Americas, EMEA)、26の都市で継続的に開催されています。東京での開催はその一環という訳ですね。 当エントリでは、イベント内のセッション『パフォーマンスは７倍へ！大量GPS位置情報データを爆速でSnowflakeへリプレイス成功！』の参加レポートをお届けします。 目次 セッション概要 セッションレポート はじめに Agoopについて Redshift検証での課題 検証・移設・効果について 今後について まとめ セッション概要 アジ

ブラウザベースのIDE プロジェクトのビルド(build), テスト(test), モデルの実行(run)やバージョン管理といった操作をブラウザを介して行うことが出来る機能。機能というか画面。 ジョブスケジューリング＆レポーティング WebhookとAPIを使用して、スケジュールに従ってジョブを実行することが可能です。これにより運用コストを削減することが出来ます。 ジョブ実行可能回数 「1ヶ月あたりのモデル実行成功回数」という指標において、DeveloperプランとTeamプランでは制限が掛かっています。 Developerプラン： 3,000回/月：さらに多くのモデルを構築する必要がある場合は、チームプランを検討してください。 Teamプラン： 15,000回/月：これ以上の実行に関しては、0.01 ドル掛かる形となります。 Enterpriseプラン： 無制限 ロギング＆アラート 実行

#4 「組織でのNotion活用事例」発表会を行いました。 in クラスメソッドxアノテーションxネクストモード 3社合同Notion交流会 #notion 2023年10月06日(金)、クラスメソッドxアノテーションxネクストモード3社による『Notion共有会』の第4回社内イベントを開催しました。 前回第3回の開催内容はこちら： 『Notion交流会』の特集カテゴリはこちら： 第4回の開催内容は、組織(部署やチーム、タスクフォース等)でNotionを活用した例について、お話頂く事例発表会的コンテンツでお届けする形となりました。当エントリでは、その開催内容についてざっくりではありますが紹介したいと思います。 目次 アライアンス事業部でのNotion構成見直し Notionのデータベースを用いた業務の計画と振り返り CXデザインチームでの情報共有や協力のためのNotion活用事例 メンバー

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 モダンデータスタック(MDS)におけるデータ変換処理、ELTデータパイプラインのアプローチにおける「T(Transform)」の部分をカバーするサービスである「dbt」(正式名称：data build tool)は、大きく分けて2つのプロダクトによって構成されています。それが「dbt Core」と「dbt Cloud」です。 当エントリでは、この2つのプロダクト「dbt Core」と「dbt Cloud」について、それぞれがどういう特徴を備えているのか、またそれぞれのプロダクトの違いについて要点を整理しながら見ていこうと思います。 目次 超基本的な部分の違い dbt Coreで出来ること dbt Cloudで出来ること 構成・実行イメージ(の違い) 機能・環境・ケースにおける違い クラウド統合開

dbtプロジェクト構築に関する ベストプラクティス #2「ステージングデータ層(Staging Layer)に関する検討事項」 #dbt アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtはクラウド型データウェアハウス（DWH）におけるデータ変換に特化したツールです。非常に使い勝手が良く便利なツールである一方、様々な機能が提供されているのでいざ使ってみよう！となると『何をどうやって作り上げていけば良いんだろう？』『この場合のルールや制限はどういうものがあるの？どういう取り決めをもって扱えば良いんだろう？』という風に思うこともあるかと思います。(実際私自身そう感じました) そんなユーザーの疑問や悩みを解決する、いわゆるdbtユーザー向けのガードレール的な存在となりうるコンテンツがdbt社から展開されています。それが『dbtベストプラクティスガイ

アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtはクラウド型データウェアハウス（DWH）におけるデータ変換に特化したツールです。非常に使い勝手が良く便利なツールである一方、様々な機能が提供されているのでいざ使ってみよう！となると『何をどうやって作り上げていけば良いんだろう？』『この場合のルールや制限はどういうものがあるの？どういう取り決めをもって扱えば良いんだろう？』という風に思うこともあるかと思います。(実際私自身そう感じました) そんなユーザーの疑問や悩みを解決する、いわゆるdbtユーザー向けのガードレール的な存在となりうるコンテンツがdbt社から展開されています。それが『dbtベストプラクティスガイド(Best practice guides)』です。構造、スタイル、セットアップなど、dbt Labsの現在の視点を通した「ベストプラク

#3 『日比谷オフィスページ』リニューアル案を元にディスカッションを行いました。 in クラスメソッドxアノテーションxネクストモード 3社合同Notion交流会 #notion 2023年09月06日(水)、クラスメソッドxアノテーションxネクストモード3社による『Notion共有会』の第3回社内イベントを開催しました。 前回第2回開催内容はこちらを参照： 第3回の開催内容は、上記の第2回の内容を踏まえた"続編"イベントとなっております。当エントリでは、その開催内容についてざっくりではありますが紹介したいと思います。 目次 開催の経緯 開催レポート 前提条件の共有 リニューアル案プレゼン＆ディスカッション 総括 まとめ 開催の経緯 前回第2回では、現在クラスメソッド社内で展開しているNotionにおける、日比谷オフィスの総務的的手順をまとめたページ集(日比谷オフィス仕様ページ)が抱えてい

2023年09月08日(金)、ANAインターコンチネンタル東京にて、Snowflake社による日本最大級のデータイベント「Snowflake Data Cloud World Tour Tokyo」が開催されました。 「Snowflake Data Cloud World Tour」と銘打っているように、このイベントは全世界3つのリージョン(APJ, Americas, EMEA)、26の都市で継続的に開催されています。東京での開催はその一環という訳ですね。 当エントリでは、イベントを一日参加した中でイベント会場の雰囲気をお届けするフォトレポートをお届けします。 「Snowflake Data Cloud World Tour Tokyo」 フォトレポート 開催日となった2023年09月08日の東京方面は、ちょうど台風13号が関東直撃するのか？しないのか？あ、直撃しそう...という天候でし