Centrally discover, manage, monitor, and govern data and AI artifacts across your data platform, providing access to trusted data and powering analytics and AI at scale.
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Dataplex: data governance
Centrally discover, manage, monitor, and govern data and AI artifacts across your data platform, providing access to trusted data and powering analytics and AI at scale.
はじめに 初めまして。プラットフォーム開発部にてデータ基盤を整備しているkashiraと申します。 ピクシブではデータガバナンス強化のために、Google Cloud Platform(GCP)のDataplexのデータリネージ機能を本番運用で使い始めました。 この記事では、「どのように導入したのか？」「導入によってどんな効果が出たのか？」について話していきます。 cloud.google.com データリネージとは？ データリネージとは、データの流れを可視化する機能です。 BIやDWHで分析するデータは、各所に散らばった複数の処理を経て生成されます。 複数の散らばった処理を1つずつ追いかけるのには時間がかかり、何かデータに障害が発生した場合のデバッグや、データ変更をしたい場合の調査に対するコストが大きくなります。 こうした課題を解決するための仕組みの1つがデータリネージです。 具体的には
Google Cloud Next Tokyo '23で発表した資料です。
Dataplex(旧Data Catalog)によるデータカタログについてあれやこれやれやをまとめておいたポインタが欲しくなってきたので、とりとめもなくつらつらと書きます。 注意点: BigQuery on GCPの運用を前提に書いてます Dataplexはデータカタログ以外の機能もたくさんありますが、データカタログの観点にフォーカスして書いてます 論理的なデータ構造を作成したり、それに基づいた権限管理など 少人数のチームでデータ基盤を運営しており、データカタログの運用自体に工数をなかなか割けない前提で書いてます 自前で作ることも難しいし、ましてそれを継続的に運用するのはさらに難しい 「データカタログ」という言葉が指すスコープも色々ありそうですが、「検索 + メタデータ管理」くらいのスコープで書いてます 包括的に書くつもりはないので、漏れてる観点は多いと思います データカタログがなぜ必要か
Dataplex のご紹介 - データ管理を一元化できるインテリジェントなデータ ファブリック | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 エンタープライズ データの現況を俯瞰すると、データは複数のデータレイク、データ ウェアハウス、データベース、その他の特殊なデータマートに保存され、日増しに分散化が進行しています。データを機能させ、ビジネスの意思決定の基盤としてデータを使用したいと考える企業が増えつつあります。複数のサイロに分散されたデータにアクセスする人とツールが増えるにつれ、分散データ戦略を実施しつつ、分析のため高品質のデータを簡単に検出して利用できるようにすることは、企業にとって日増しに困難になっています。組織はプロセスの構築に際して、データを統合してツールを相互運用できるようにすることと、アジリティを犠牲にしてモノリシック データシステムにデータを移動することとの間で、妥協を余儀なくされることがし
こんにちは。最近Google CloudのDataシリーズにはまっている林です。 Google Cloud Day: Digital ’22の2週目に開催されたハンズオン祭のうち、『データエンジニア向けBigQuery + Dataplex 編』を受講してきました。 2022 年 4 月 19 - 22 日、26 - 28 日 開催決定。全ての業界で活躍する開発者やそのリーダーを対象に、Google Cloud が支援する企業の DX の実現と、新たなビジネス価値の創造について、経営的、技術的観点から深... ”Dataplex”は聞いたことがあったもののどのようなサービスか全く理解していなかったため、非常に勉強になる内容でした。 Dataplexって？ 分散したデータを一元化して、 データ管理を自動化し、より強力な大規模な分析を可能するインテリジェントなデータファブリック （ハンズオン資
Dataplex: データ ガバナンス
組み込みのデータ インテリジェンスを活用して、Google Cloud 内外に保存された構造化データ、半構造化データ、非構造化データの検出、分類、メタデータ拡張を自動化します。すべてのデータの技術、運用、ビジネス上のメタデータを、統合された、柔軟で強力な Data Catalog で管理します。 組み込みのビジネス用語集を使用して、適切なビジネス コンテキストでメタデータを拡充します。組み込みのグローバルファセット検索で、簡単にデータを検索、検索、理解できます。
G-gen の神谷です。本記事では、Google Cloud のスケーラブルでサーバレスなデータ管理ツールである Dataplex を徹底解説します。 Dataplex の概要 Dataplex とは メリット データメッシュとは 構成とオブジェクト Dataplex Discovery Dataplex Discovery とは Discovery Action アクセス制御 認証・認可 (IAM) IAM の基本的な理解 アセットと IAM プロジェクトをまたぐ権限管理 VPC Service Controls 属性ストア データの品質チェック Dataplex におけるデータ品質の検証 自動データ品質 自動データ品質とは データ品質タスク データプロファイリング ロギングとモニタリング ロギング モニタリング 料金 その他の機能 ビジネス用語集 データ探索ワークベンチ Dataple
Google Cloud Japan Advent Calender 2022 (今から始める Google Cloud) の 13 日目です！ こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataplexの紹介をしたいと思います！ Dataplexとは データを活用する上でデータガバナンスをどう担保するかは非常に難しい問題です。 そこでGoogle CloudではデータのQuality,Security,Complianceなどを担保するためにDataplexを提供しています。 具体的に何が出来るのかが分かりづらい部分があるので、この記事ではDataplexの具体的な機能や使い方を説明したいと思います。 また、メタデータ管理サービスであるのData Catalogですが、今年 Dataplex に統合され、Dataplex のメニューから
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dataplexのデータリネージ機能を導入した話 - pixiv inside
BigQuery のデータ品質やデータ活用を高める Dataplex 等の活用
Dataplex(旧Data Catalog)によるデータカタログの調査 - yasuhisa's blog
【GCP】BigQuery+Dataplexハンズオン受講レポート
Dataplexを徹底解説！ - G-gen Tech Blog
Dataplexで始めるデータメッシュ運用
news.yahoo.co.jp
news.yahoo.co.jp
www.yomiuri.co.jp
www.yamache.com
detail.chiebukuro.yahoo.co.jp
anond.hatelabo.jp