Data Catalog: データの検出 | Google Cloudデジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
SFIA 8
SFIA 8は、デジタル世界向けのグローバルスキルおよびコンピテンシフレームワークの新しいバージョンです。 https://sfia-online.org/ja/sfia-8 https://sfia-online.org/@@site-logo/sfialogo-outlines.svg 背景 SFIAの発展 2000年に初版が発行されて以来、SFIAは、業界やビジネスの要求に対し、関連性を保ち有用であり続けるため、世界中の利用者による専門的なフィードバックを受け、継続的な改定を重ね成長してきました。 SFIAは、ICTコミュニティのフレームワークとして始まりました。 これは、デジタル世界を動かすデータとテクノロジーを設計、開発、実装、管理、保護するビジネスとテクノロジーの専門家が必要とするスキルとコンピテンシを定義するフレームワークに進化しました。 SFIAの範囲内には、世界で最も需要
SFIA 7
SFIA 7 - Skills Framework for the Information Age 第7版 https://sfia-online.org/ja/legacy-sfia/sfia-7 https://sfia-online.org/@@site-logo/sfialogo-outlines.svg 2000年に初版が発行されて以来、SFIAは、業界やビジネスの要求に対し、関連性を保ち有用であり続けるため、世界中の利用者による専門的なフィードバックを受け、継続的な改定のもと、成長してきました。 これまでの版と同じく、SFIA 7は進化しています。多くの変更要望に応え、既存のスキルが見直され、いくつかの新たなスキルも追加されましたが、SFIAの基本的な考えや根本的な価値は、ここまでの20年間と同じく、継承されています。 基本要素によって表される７階層の責務と、多くの専門スキル、
DWH利用者アンケート2021 - 風音屋
昨今の経済社会においてデジタル変革やデータ利活用の重要性が日々増しています。経済誌やビジネス書では華やかなデータ活用の事例が次々と紹介されています。そのような事例の裏には、大規模なデータを簡単に処理できるテクノロジーの存在があります。 特に「データウェアハウス製品」はデータ活用を支える中心的なソリューションです。2010年代にクラウドベンダーが次々と台頭したことで、多くの民間企業に普及しつつあります。2020年にはSnowflakeが米国にて上場しました。グローバルで最も注目されている分野の1つだと言えるでしょう。 ソリューション提供者が積極的に情報発信を行っている一方で、ソリューション利用者の意見は散在しています。世のソフトウェアエンジニアたちの技術ブログを読み漁らないと、利用者視点での情報を得ることは難しいのが実情です。 そこでソリューション利用者に対するアンケート調査を実施しました。
エンジニアがいない組織で1からデータ基盤を構築した話｜GKテックブログ
はじめに 本記事はQiitaデータ基盤・BIツール・データエンジニアリング Advent Calendar 2021 の17日目の記事です。 https://qiita.com/advent-calendar/2021/dataengineering 本記事では私が2年前に現職に中途で入社した際に、社内にITエンジニアがいない環境で1からデータ基盤を構築するために実施したことを簡単に説明したいと思います。 背景について 私は現在、卸事業・メーカー事業を中心としたビジネスを行っている企業のメーカー部門に所属しています。ちょうど2年ほど前に現職に中途で入社し、新設されたデータマネジメントチームに所属することとなりました。私が入社した当時の会社の状況としては、「データをマーケティングに活用していきたい、だけど何をやっていいのか全く分からない」という状態でした。そのような状況で、私にはまず始めに「
データ活用組織を進める振り返り | Queuery
この記事は、datatech-jp Advent Calendar 2021の14日目の記事となります。 ここ最近はBigQueryとデータポータルを使い、社内のデータ利活用を進めてきました。 その取り組みを振り返った気持ちを、ポエムとして残しておこうと思います。話半分にお読みください。 データ活用の中心は「人」である#当たり前ですが、データを活用する最終端は人です。 データ使って、情報の閲覧者に行動してもらうことがデータ活用を重要な点になります。 例えば、データ視覚化は、データを分かりやすく見せることで、解釈を可能にし、閲覧者に行動を促すものです。視覚化の他にも、直接的なData Consumerは機械学習モデルで、商品を推薦した結果、閲覧者が購買行動を取るなど、最終的に人中心であるものが多い（ように見えて、認知されやすい）です。 データの活用は、ツールのデジタル化を進め、データで見える
データメッシュで作る消費財企業向けモダンデータレイクのアーキテクチャ | Amazon Web Services
Amazon Web Services ブログ データメッシュで作る消費財企業向けモダンデータレイクのアーキテクチャ COVID-19 パンデミック以来、世界中でオンラインショッピングと消費者向け直販（Direct To Consumer; DTC）への劇的なシフトが見られます。消費財（Consumer Packaged Goods; CPG）業界がどの業界よりもこの変化を感じていることは間違いないでしょう。Statista 社によると「小売ウェブサイトへの訪問者数は全世界で、2020年1月の160億7000万回から、2020年6月には約 220 億回に増加」しました。ウェブサイトへのトラフィックが半年間で27% 増加したことで、データ企業、特に消費財企業にとって管理すべきデータ量が急激に増えました。 これまで消費財企業の多くは消費者と直接的な接点を持ってきませんでした。そのためデータは、
人と組織の成長につながるデータ活用とは ANAの事例で読み解く、「人」「組織」「データ基盤」の整え方 (2021/12/02 18:30〜)
【このイベントについて】 ●データ活用に欠かせない「基盤」「組織」「人材」のつくり方を考えてみませんか 「DXの一丁目一番地」といわれるほど、ビジネス課題を解決する上で欠かせないのが「データ活用」です。 本質的なデータ活用を行うためには、活用に値する“きれいなデータ”を用意するための「データ基盤」、データをビジネスの文脈で分析できる「データ人材」、データ活用を部門横断で考えるための「データ組織」が欠かせません。 膨大なデータを持つエンタープライズ企業では、この3つのうちのどれが欠けても、ビジネス課題の解決につながるデータ活用が難しくなります。そしてデータ人材が奪い合いになっている昨今、この3つの要素を構築するのは困難を極めているのが実情です。 このような状況下で、データ基盤を整備し、人材を発掘して育て、データ活用組織を創っていくにはどうしたらいいのでしょうか。 本イベントでは、データ活用に
Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat
標準ガイドライン群 | 政府CIOポータル
【移転のお知らせ】 令和4年4月22日以降の更新情報については、デジタル庁ウェブサイトのデジタル社会推進標準ガイドラインのページよりご確認ください。（URLは以下） デジタル庁ウェブサイト 政府では、ＩＴを徹底活用し、行政内の利便性、効率性、透明性の向上を実現するだけでなく、行政サービスを見直し、デジタル社会に対応したデジタル・ガバメントを目指しています。このデジタル・ガバメントへ変革していくために、デジタル庁を中心に各府省の統括責任者がリーダーシップを発揮し、「共通ルール」の下、各府省及び政府全体のＩＴガバナンスを強化する必要があります。 このため、行政のサービス・業務改革に伴う政府情報システムの整備及び管理について、その手順や各組織の役割等を定める体系的な政府共通ルールとして、「デジタル・ガバメント推進標準ガイドライン」(2019年2月25日各府省情報化統括責任者(CIO）連絡会議決定
データ人材フレームワークの設計 | 政府CIOポータル
本サイトは、過去のIT総合戦略室の情報発信サイトです。2022年6月30日に更新を停止しました。 現在のデジタル政策に関するデジタル庁の公式サイトはこちらをご覧ください。 データ人材の人材像とスキルセットを明確にするとともに、評価方法について検討を行い、その結果としてデータ人材フレームワーク案を提案します。 データに関する人材は、従来からデータベース・エンジニアが重視され、人材育成が行われてきました。また、データ活用の重要性の高まりとともに、データ・サイエンティストやAI人材が注目され、その育成が広がっています。一方、社会の事象から必要なデータを分析し設計するデータ・アーキテクトやデータ・エンジニアはこれまで十分な育成が行われていなかったため、人材が質、量ともに不足しています。 本ディスカッションペーパーでは、データ人材の人材像とスキルセットを明確にするとともに、評価方法について検討を行い
第10回 MLOps 勉強会(Online) ~機械学習基盤~ (2021/08/25 19:00〜)
イベント概要 第10回MLOpsコミュニティイベントです！ 第10回の勉強会は日本マイクロソフト 女部田啓太様,伊藤駿汰様、Repro杉山阿聖様によるMLOps発表となります。 ハッシュタグ：#mlopsコミュニティ 発表内容 MLflow + ONNX で実現するクラウドネイティブな MLOps 本セッションでは、実験管理ツールの MLflow と効率的な推論エンジンの ONNX Runtimeを利用して、Azure のマネージドサービスで機械学習基盤を実現する方法を説明します。 講演者プロフィール 女部田啓太 (Onabuta Keita) 日本マイクロソフト Cloud Solution Architect。統計解析・機械学習や BI のソフトウェアの導入提案・技術支援をしています。趣味はフットサルとピアノ。 伊藤駿汰 (Ito Shunta) 日本マイクロソフト Cloud Sol
Microsoft Purview のデータ系列
この記事では、Microsoft Purview データ カタログのデータ系列の概要について説明します。 また、データ システムをカタログと統合してデータの系列をキャプチャする方法についても詳しく説明します。 Microsoft Purview では、organizationのデータ資産のさまざまな部分のデータと、次のようなさまざまな準備レベルのデータ系列をキャプチャできます。 さまざまなプラットフォームからステージングされた生データ 変換および準備されたデータ 視覚化プラットフォームで使用されるデータ ユース ケース データ系列は、データの配信元にまたがるライフサイクルと、データ資産間で時間の経過と同時に移動するライフサイクルとして広く理解されています。 これは、トラブルシューティング、データ パイプラインの根本原因のトレース、デバッグなど、さまざまな種類の後方表示シナリオに使用されます
merpay Tech Talk「メルカリのデータドリブン文化を支える、データプラットフォームとデータマネジメントの話」を開催しました #merpay_techtalk | メルカリエンジニアリング
merpay Tech Talk「メルカリのデータドリブン文化を支える、データプラットフォームとデータマネジメントの話」を開催しました #merpay_techtalk 2021年3月29日にmerpay Teck Talk を開催しました。今回のテーマは「メルカリのデータドリブン文化を支える、データプラットフォームとデータマネジメントの話」。データ基盤の構築や運用、管理や活用について興味のある方向けの内容でお届けしました！ メルカリのデータドリブン文化を支える、データプラットフォームとデータマネジメントの話 – connpassイベントページ この記事では、当日の内容を簡単に紹介します！アーカイブがYouTube上にありますので、詳しくはぜひこちらをご覧ください。 イベント概要（compassより） merpay Tech Talk は、毎回各テーマに興味のあるエンジニアたちが集まり、技
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
民間企業におけるデータ整備の課題と工夫 / 20220305
GitHub - datahub-project/datahub: The Metadata Platform for your Data Stack
LinkedIn Datahub Application Architecture Quick Understanding
Merpay Tech Fest 2021_Vertex PipelinesとFeature Storeを活用した不正防止システム / Using Feature Store and Vertex Pipelines in Fraud Prevention System
Goods: Organizing Google’s Datasets
データメッシュの原則と論理アーキテクチャの定義
