整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で
みなさん、データのメタデータ管理ってどうやってますか？ #datatech-jp レポート｜よしむら＠データマネジメント担当
メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系：DDLとか ビジネス系：活用方法 関連性：リネージやER図 統制系：品質情報 セキュリティ情報：アクセス権限情報 システム運用系：ジョブ実行ログ ソーシャル系：利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ
さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S
データ利活用の推進が行われている昨今、多種多様な企業が散見されているデータの統合を目的としたデータ基盤を構築し、データ利活用できる環境を整備しています。 一方、データ基盤を統合したのは良いけれど、どのようなデータが入っているのか探せず、データ利活用につながらないといった課題が生まれています。 そのような状況の中、データの意味の管理をする「メタデータ管理」が注目を集めています。メタデータの管理・整備の継続をすることでデータ利活用を促すことができます。 本記事では、このメタデータについて、大きく分けて3つのことを説明します。 1つ目は、そもそもメタデータとは何か、2つ目は、メタデータ管理をどのように進めたらよいか、3つ目は、継続してメタデータ管理を続けるための方法です。 日頃データ利活用に携わっており、メタデータ管理に取り組みたいと思っている方々に、本記事を参考にしていただけると幸いです。 こ
先日、Gmail、米国Yahoo!から相次いでメール送信者ガイドライン変更のアナウンスがありました。詳しい内容についてはこちらの記事に詳細がまとまっているのでご参照ください。 DMARCのレポート アナウンスを受けてSPF/DKIMの確認やDMARCの設定を始めた方も多いのではないでしょうか。そしてDMARCのレポートをいざ受け取ってみて、XML形式で読み取りにくいと思う方も多いのではないでしょうか。以下のXMLは実際に私のドメインで受け取ったDMARCレポートです。レコードは1つですが、これだけ長くなります。 <?xml version="1.0" encoding="UTF-8" ?> <feedback> <report_metadata> <org_name>google.com</org_name> <email>noreply-dmarc-support@google.com<
Dataplex(旧Data Catalog)によるデータカタログについてあれやこれやれやをまとめておいたポインタが欲しくなってきたので、とりとめもなくつらつらと書きます。 注意点: BigQuery on GCPの運用を前提に書いてます Dataplexはデータカタログ以外の機能もたくさんありますが、データカタログの観点にフォーカスして書いてます 論理的なデータ構造を作成したり、それに基づいた権限管理など 少人数のチームでデータ基盤を運営しており、データカタログの運用自体に工数をなかなか割けない前提で書いてます 自前で作ることも難しいし、ましてそれを継続的に運用するのはさらに難しい 「データカタログ」という言葉が指すスコープも色々ありそうですが、「検索 + メタデータ管理」くらいのスコープで書いてます 包括的に書くつもりはないので、漏れてる観点は多いと思います データカタログがなぜ必要か
「みなさん、データのメタデータ管理ってどうやってますか?」での発表資料です。 - https://datatech-jp.connpass.com/event/310548/
MacでPDFの入手先情報を手早く消す方法
セキュリティ上、作成したり、他から入手したドキュメントのPDFファイルに残る入手先のメタデータが残ってしまうのは避けたい 写真やドキュメントなど、自分で作成したり、他から入手したファイルを扱う場合には、セキュリティ上、作成者や入手先、位置情報などそのファイルのプロパティ情報（メタデータ）に個人を特定できる情報を含んでいないかを気にする必要があります。 例えば、紙媒体のドキュメントを、PDFスキャンして会社に提出するケースなどがあります。 私はよく、iPhoneで写真撮影からPDF化までを「Microsoft Lens」というアプリを使って行い、そのPDFファイルを自分のMacにAirDropでファイル転送して、Macからメール送信ということをします。 しかし、このメール送信直前のPDFのプロパティ情報には、入手先として撮影したiPhoneとMacのユーザー名が含まれていることがあります。
No one is an island. Learnings from fostering a developers community.
CiNii Dissertations及びCiNii BooksのCiNii Researchへの統合について | 学術コンテンツサービス サポート
CiNii Dissertations/Cinii BooksのCiNii Researchへの機能統合及び統合時期について 学術統合検索基盤CiNii Researchを高度化しつつ、運用を効率化するため、下記の日程で博士論文検索サービスCiNii Dissertations及び書誌情報検索サービスCiNii Booksの機能を、CiNii Researchへ統合いたします。 CiNii Dissertations 統合：令和 6（2024）年 12 月 上旬 CiNii Books 統合：令和 7（2025）年度 後半 なお、CiNii Dissertations及びCiNii Booksのデータについては、既にCiNii Researchへ統合され、検索可能な状態となっております。 並行稼働期間について CiNii Dissertations及びCiNii Booksは上記CiNii
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO
データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」
DMARCのレポートを可視化するdmarc-report-converterの紹介
Dataplex(旧Data Catalog)によるデータカタログの調査 - yasuhisa's blog
データマネジメントを支える武器としてのメタデータ管理
OpenMetadataとdbtによるデータカタログの構築