DWHをCDPのように使える！？Hightouchの「Customer Studio」でGUI操作でセグメンテーションしてみた | DevelopersIO
DWHをCDPのように使える！？Hightouchの「Customer Studio」でGUI操作でセグメンテーションしてみた さがらです。 HightouchはDWH⇨各種アプリケーションへのデータ転送に使える「ReverseETL」のサービスですが、Customer StudioというDWHをCDP(Customer Data Platform)のように扱ってCRM・MAのツールと連携してマーケティング活動に伴うセグメンテーション・分析を行える機能があります。※Customer StudioはBussinessプラン以上でのみ使用可能のためご注意ください。 今回はCustomer Studioの基本機能として、ドキュメントのImplementation stepsに沿って、Hightouch上でGUIベースでセグメンテーションを行ってみます。 事前準備 SourceとDestinati
「Databricks とは？何ができるか」新入社員が感じたイケてる機能１０選 - Qiita
目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後も記事執筆を継続するモチベーションに繋がりますので「いいね」や記事の保存、SNSで共有いただけると嬉しいです。宜しくお願いいたします！ 背景と目的 皆様の中には Databricks という会社に馴染みがない方も多いと思います。 米国カリフォルニア州に本社が
グーグルのHTAP対応PostgreSQL互換DB「AlloyDB」、データ分析性能は最大100倍
米Google（グーグル）は2022年5月に開催した年次カンファレンス「Google I/O 2022」で、新しいデータベース（DB）サービスである「AlloyDB for PostgreSQL」を発表した。 グーグルが2022年5月12日（米国時間）に発表したAlloyDB for PostgreSQLは、同社が独自に開発したDBのサービスで、オープンソースソフトウエア（OSS）のリレーショナルDB（RDB）である「PostgreSQL」と互換性がある。ユーザーはPostgreSQL用のSQLクエリーや拡張機能がそのまま利用できる。 AlloyDB for PostgreSQLの特徴は、トランザクション処理（OLTP）性能とデータ分析（OLAP）性能を両立した点だ。グーグルによればAlloyDB for PostgreSQLは標準的なPostgreSQLに比べて、同じ数のCPUを使用する
Microsoftがデータ分析基盤「Fabric」発表、DWH・AI・ストリーム分析を統合
米Microsoft（マイクロソフト）は2023年5月23日（米国時間）、年次イベント「Microsoft Build」で新しいデータ分析プラットフォーム「Microsoft Fabric」を発表した。データレイク「OneLake」を使って一元的にデータを管理し、AI（人工知能）によるアシスト機能「Copilot」も利用できる。 イベントに登壇したマイクロソフトのSatya Nadella（サティア・ナデラ）CEO（最高経営責任者）は「全てのAIアプリケーションはデータから始まる。（Fabricは）私たちが何年もかけて取り組んできた製品だ。マイクロソフトのデータ関連製品として、（データベース管理システムである）SQL Server以来、最大の発表になるだろう」と力を込めた。 マネージドクラウドサービス「Azure Data Factory」、企業向けデータ分析サービス「Azure Syna
データ分析基盤の作り方 〜実践編〜 5つのステップで散在するデータを可視化する方法 | trocco®(トロッコ)
データ分析基盤の作り方 〜実践編〜 5つのステップで散在するデータを可視化する方法 入門編同日開催！+60分で理解を深めませんか 概要 本セミナーは、ビジネスの現場でよく必要とされるROI分析を題材に、データ分析基盤の構築〜ダッシュボードの作成までを、下記5つのステップに沿ってデモも交えながら具体的にご説明します。 STEP 1 ゴールイメージの設定 STEP 2 データソースの洗い出し STEP 3 データの収集(データレイク構築) ※デモ有 STEP 4 データの加工(データウェアハウス構築) ※デモ有 STEP 5 データの可視化(データマート作成、BIツール接続) ※デモ有 応用可能な基本の５ステップのため、顧客分析データや店舗別売上管理データなどを可視化する際にも参考にしていただけます。 また、今回の「データ分析基盤の作り方 〜実践編〜」は、ゼロからわかるデータ分析基盤〜入門編
データウェアハウス選定フローチャート（2022年4月時点版）
前置き 最近、色々な会社でデータの活用というのが叫ばれていると思うのですが、いざデータ基盤を構築するとなると詳しい人が少ない状況です。 どういう基盤を作ればいいのかとか、どのデータウェアハウスを使えばいいのかという相談を、私もよく受けます。 ここのところ特にあまりにもよく受けるので、毎回答えるよりも記事にしておいたほうが早いなと思ったので、この記事を書きました。 今回のお話は 「どのデータウェアハウスを使えばいいのか」 という質問に対しての現時点での私なりの回答になります。 データウェアハウスの選択肢は3つ データウェアハウスのサービスはたくさんあるのですが、この記事を書いている2022年4月時点で自然に選択肢に挙がるのは3つです。 BigQuery Redshift Snowflake それぞれの特徴については後述します。 データウェアハウスの選定基準 今回挙げた3つのデータウェアハウス
dbtを触ってみた感想 - yasuhisa's blog
データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一部で使っていた 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog 定期バッチ処理はArgo Workflows on GKEでやっている 触ってみないと肌感とか自分で運用できるかのイメージが湧かないのでね。 Dataformとの比較 細かいノウハウ 手元や本番環境での動作 Argo Workflowとの連携 環境によってDWHの提供するバージョンを差し替える DWHやデータマートの外の情報をデータリネージに加える 既存
DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウでどう活用しているかについて紹介します。 背景 初手: 自社のデータ基盤の歴史を振り返る アセスメントの実施 データ活用者 / システム提供者 / 意思決定者へのヒアリングの実施 アセスメントを実施した結果 最後に 背景 まず、モノタロウでなぜアセスメントを行なったかについて説明します。モノタロウは20年以上歴史のある企業であり、データ基盤自体も10年以上の歴史があります。単一事業ではあるものの、受注 / 売上 / 商品 / 在庫 / 顧客 / 行動履歴など、対象となるドメ
データ分析システムの全体像を理解する(3) データウェアハウスとスタースキーマ
はじめに 前回は、データ分析の高度化ステップにおける第2ステップ「定型的な分析」と第3ステップ「非定型な分析」の違いを解説しました。 「非定型な分析」で使用される分析手法である多次元分析を可能にするためには、データウェアハウス(DWH)と呼ばれる大規模データベースの構築が必要です。また、多次元分析で行われる軸の入れ替え、スライス、ドリルダウン＆ドリルアップといった操作を可能にするには、スタースキーマと呼ばれる特別なデータベース構造を持たせる必要があります。今回は、このデータウェアハウスとスタースキーマについて解説します。 データウェアハウスのアーキテクチャ データウェアハウスとは、データ分析システムで利用可能とするデータを一元的に格納するデータベースのことです。データウェアハウスに格納されたデータは、BIツールを通じてさまざまな分析に利用されます(図1)。 しかし、データウェアハウスは、単
Clarity データ ウェアハウス（DWH）の規則
独自のレポート ツールを使用してレポート データを生成するには、以下のデータ ウェアハウス（DWH）の標準および規則を使用します。
DWHをBigQueryに移行した後の話 - Adwaysエンジニアブログ
はじめに DWHをBigQueryに移行した背景 BigQueryに移行して良かった 速い 安い 充実した機能 タイムトラベル Googleサービスとの連携 BigQueryにDWHを移行してからやったこと あとがき はじめに こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データを取り扱っています. データサイズが大きいと, その集計処理もまた負荷が高いものとなります. 弊社では数年前, データ基盤としてAuroraを選択しました. データサイズが小さいうちは, Auroraでの集計処理が可能だったのですが, データサイズの増加に伴い, 集計処理にかかる時間は
信頼できる唯一の情報源 - Wikipedia
信頼できる唯一の情報源 (英語: single source of truth、SSOT) とは、情報システムの設計と理論においては、すべてのデータが1か所でのみ作成、あるいは編集されるように、情報モデルと関連するデータスキーマとを構造化する方法である。データへのリンクで可能なものは参照のみである。プライマリ以外の他の場所のすべてのデータは、プライマリの「信頼できる情報源」の場所を参照するだけであり、プライマリのデータが更新された場合、どこかで重複したり失われたりすることなく、システム全体に伝播される。 SSOTアーキテクチャは、エンタープライズではますます重要になっている。これは、データが重複あるいは非正規化されていると、古い、あるいは誤った情報を取得するリスクがあるためである。一般的な例は、電子カルテである。この場合、SSOT として機能する単一の参照リポジトリに対して、患者の身元を正
スキーマのモデリング化技法
20 スキーマのモデリング化技法 この章では、データ・ウェアハウスのスキーマについて説明します。内容は次のとおりです。 データ・ウェアハウスのスキーマ 第3正規形 スター・スキーマ スター・クエリーの最適化 データ・ウェアハウスのスキーマ スキーマとは、表、ビュー、索引およびシノニムを含むデータベース・オブジェクトのコレクションです。 データ・ウェアハウス用に設計されたスキーマ・モデルにスキーマ・オブジェクトを配置するためには、様々な方法があります。データ・ウェアハウス・スキーマ・モデルの1つは、スター・スキーマです。shサンプル・スキーマ(このマニュアルに記載するほとんどの例の基本)では、スター・スキーマを使用します。ただし、その他にも、データ・ウェアハウスによく使用されるスキーマ・モデルがあります。そのようなスキーマ・モデルのうち最も一般的なのは、第3正規形(3NF)スキーマです。また
コンフォームド・ディメンション(Conformed Dimensions)
図1のスタースキーマは、注文(fact_orders)と返品(fact_returns)の2つプロセスを表している。それぞれ注文スター、返品スターと呼ぶ。 それぞれ別々の部門で実装されたもので、物理的に独立したデータベースに存在している。両方のデータベースに、ディメンションテーブルの日(dimension_days)、顧客(dimension_customers)、製品(dimension_products)がある。これらのスタースキーマを比較したいケースはあるとする。例えば、特定期間の製品別の注文に対する返品率などである。これはドリルアクロスを使えば実現可能である。以下が手順である。 各ファクト・テーブルを製品ごとに集約する。 集約した結果をマージし、注文された数量と返却された数量の比率が計算する。 図1の製品ディメンションを使えば、同様の手順で他のディメンション属性で分析可能だが、残念
複数スタースキーマ
複数スタースキーマ(Multiple star schema) 1つのファクトで、全ての分析対象がカバー出来ることは稀である。ほとんどのケースで複数のファクトテーブルが必要になるだろう。本当に価値ある分析は複数のプロセスを横断した分析である。これを誤った方法で実現するとどうなるか？どうすれば良いのかを見ていく。 スタースキーマの作り方に関しては、別の記事にまとめている 。 発生タイミングが異なるファクト 2つ以上のファクトがあったとする。それらは同時に発生しないファクトである場合、異なるファクトテーブルに配置するべきである。誤って単一ファクトテーブルにまとめられると、個々の分析が困難になる。もし分けていれば個々に分析が可能になる。 ある営業部門で以下のような分析要件があったとする。 日付、顧客、製品別注文数量の分析 日付、顧客、製品別出荷量の分析 ディメンションは日付と顧客。ファクトは製品
第13回 星形がデータ分析に最適！ データモデリング | モダンExcel研究所（モEx研）
1 データ相互のリレーションシップ2 データモデル3 データ分析に欠かせないスタースキーマ4 スタースキーマ以外のデータモデル前回第12回に引き続き、リレーションシップのお話です。 多様なデータを様々な角度から眺めることで、新たな洞察を得ることが可能となります。 データ相互のリレーションシップ事実（Fact）の全体像を把握するには、目的に即した多様な次元（Dimension）でデータ分析する必要があります。その前提としてデータ相互のリレーションシップがポイントになります。 リレーションシップを的確に行うには「ファクト」と「ディメンション」という考え方を知っておかねばなりません。別の言い方をすれば、データを「ファクトテーブル」と「ディメンションテーブル」に分けてデータモデリングする必要性があります。 例えば、「販売実績データ」のように日々多数の実績データ（トランザクション）が存在するものが「
データ・ウェアハウス・ガイド
組織でのエンタープライズ･データ・ウェアハウス構築がすでに決定されているとします。そして、ビジネス要件の定義、ビジネスの目的の適用範囲の打合せ、および概念的な設計も完了しているとします。そこで、その要件をシステムに移行できるように変換する必要があります。そのためには、データ・ウェアハウスの論理設計と物理設計を行います。定義する内容は、次のとおりです。 具体的なデータ内容 データ・グループ内およびデータ・グループ間の関係 データ・ウェアハウスをサポートするシステム環境 必要なデータ変換 データのリフレッシュ頻度 論理設計は、物理設計に比べて概念的で抽象的です。論理設計では、オブジェクト間の論理的な関係を検討します。物理設計では、オブジェクトの格納と取出しの他、転送処理およびバックアップ/リカバリの観点から、最も効果的な方法を検討します。 設計では、エンド・ユーザーのニーズを優先させる必要があ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Star-schema naming conventions
Oracle Business Analytics Warehouseの命名規則
広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4
