整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で
GO TechTalk #25 で発表した資料です。 ■ YouTube https://www.youtube.com/live/lH0z49oHRWI?feature=shared&t=98 ■ connpass https://jtx.connpass.com/event/306325/
どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWebサイトの回遊状況を元にユーザーの興味や関心を推測してリコメンデーションを行ったり、検索結果を提供したりするなど、ユーザーとクライアント、双方が満足できるマッチング機会の創出に取り組んでいます。 このような取り組みにおいて、新しく生まれた価値のある情報を、より素早く活用していく「データの鮮度」は大事な要素になります。データの鮮度とは、すなわちリアルタイム性のこと。多様かつ膨大な量のデータを取り扱うビジネスでは、このリアルタイム性をいかに高められるかが、意思決定の精度や速度に直結します。 リクルー
郵便局を舞台にした英国史上最大の冤罪（えんざい）事件を巡り、欠陥のある会計システムを納めた富士通側の責任が浮上している。富士通の英子会社は1999年の納入当初からシステムの不具合を把握しつつ、その事実を隠して郵便局長らの訴追に加担してきた。幹部らの証言で明らかになった。「不具合があることは配備の当初からわかっていた」。富士通の執行役員で欧州地域の共同最高経営責任者（CEO）を務めるポール・パタ
社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog
プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてModern Data Stackの概要、主要サービス、重要だと思うトレンドをまとめました。
データ保護完全ガイド
本書には、バックアップ、アーカイブ、リストア、リトリーブ、それらを行う上で用いられる手法、ソフトウェア、サービス、バックアップとアーカイブを保存する際に使用されるハードウェアなど、データ保護に関して必要な知識が全て詰まっています。この20年間に現れた新技術についても触れ、従来のバックアップから最新のIT技術までそれぞれの良い点と悪い点を理解することができます。「バックアップとアーカイブの違い」「テープがあるべき場所」「Microsoft 365やSalesforceのようなSaaS製品をバックアップすべきか」といったバックアップ業界で議論される多くのテーマにも決着をつけています。データ保護に関する決定を下すための重要な基本概念を学べる1冊です。 訳者まえがき 序文 はじめに 1章 データへのリスク：我々はなぜバックアップするのか 1.1 人災 1.1.1 事故 1.1.2 悪いコード 1.
冒頭2023年現在、Generative AIの台頭により”Data is new oil.”という言葉の重みが日に日に増してきている。そんな中、企業向けデータマネジメントを担うツールであった”データカタログ”にも転機が訪れている。ここ数年の欧米動向を見ていると、旧来データカタログと自身を呼んでいた海外ベンダーが、Active Metadata PlatformやData Intelligence Platformへと自身を再定義するに至っている。以前の記事では、前者について説明を行った。本日は、よりエンタープライズ企業へとフォーカスを当てた取り組みである後者について、特に国内状況についての考察を行う。 “Intelligence”とは？Data Intelligenceと似た名前に、Business Intelligenceという概念がある。今となっては”BIツール”として慣れ親しまれ、
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～
2023年4月6日に、「ガートナー データ＆アナリティクス サミット 2023」で発表した、山邉の資料です。
書籍紹介：大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ
最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理（データマネージメント）という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望（新しいデータの提供、仕様の変更）の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータ
データ用語解説の趣旨データに係る仕事をしていて、まだまだデータ利活用に関する用語を誤解していることが多いなと感じています。 という事で、データ利活用に係るデータサイエンティスト、データエンジニア、ビジネス部門、業務部門の人たちが押さえておきたい用語を解説していきます。 今回は「データプロダクトマネージャー」について解説します。 データプロダクトマネージャーはデータプロダクトを創りビジネスをグロースする役割名として用いられます。 データプロダクトマネージャーはデータ人材の中の役割の1つで、日本に入ってきたばかりの役割でまだ固まっていない職種であるため、ここで書くのはそういう考え方もあるといった感じで受け取ってもらえればよいと思います。 データマネジメントについての情報データ用語解説 データ用語の解説を書いてます。
こんにちは！東工大修士2年/産総研RAの高島空良と申します。本記事は、研究コミュニティ cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022の17日目の記事となります。 本記事では、私がcvpaper.challengeに研究メンバーとして参画した経緯から1年間活動してきた内容の振り返りを、ざっくばらんに記載します。メインコンテンツは「大規模分散学習」になる見込みです。 私の体験を通して「cvpaper.challengeでの研究・活動の流れ」や「cvpaper.challengeの研究コミニュティの雰囲気」なども伝えられれば幸いです。 注：勢いに任せて執筆した結果、かなり長くなってしまったので、ご興味に応じて適当に読み飛ばしていただければと思います🙇♂️ 自己紹介私は現在、東京工業大学の情報工学系修士2年で、高性能計
データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
webdatasetの使い方：shardの作り方からセマンティックセグメンテーションのデータセットを読み込むまで - Qiita
1. webdatasetとは webdatasetとは，データセットをtarアーカイブで読み書きするためのライブラリです． WebDataset reads dataset that are stored as tar files, with the simple convention that files that belong together and make up a training sample share the same basename. つまり，tarファイルの中に n01440764/ILSVRC2012_val_00000293.cls n01440764/ILSVRC2012_val_00000293.jpg n01440764/ILSVRC2012_val_00002138.cls n01440764/ILSVRC2012_val_00002138.jpg n
深層学習をする上で、最も大切なマシンスペックを聞かれたら何と答えますか? GPUのTensor性能、VRAM、GPUの数、CPU性能、メモリ、… 問題によって正解は異なりますね。 しかし、特に大規模なデータセットで機械学習する場合では、しばしばネットワーク帯域とストレージシステムのディスクI/Oによって制限されます。この記事ではそのような課題に対して、学習側でどのようにデータを扱うかを見ていきたいと思います。 1. この記事は? こんにちは、TURING MLチームです。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指す会社です。 私たちは自動運転モデルを動かすため、可視域のカメラセンサによる画像で学習し、カメラ映像のみから車体の操作や経路選択、安全性の判断を行わせています。(実際の車を動かす事例はこちらの記事をご覧ください。) そのため、機械学習のため
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか
GitHub - reata/sqllineage: SQL Lineage Analysis Tool powered by Python
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - webdataset/webdataset: A high-performance Python-based I/O system for large (and small) deep learning problems, with strong support for PyTorch.
WebDataset format files are tar files, with two conventions: within each tar file, files that belong together and make up a training sample share the same basename when stripped of all filename extensions the shards of a tar file are numbered like something-000000.tar to something-012345.tar, usually specified using brace notation something-{000000..012345}.tar WebDataset can read files from local
spaCy固有表現抽出(+Presidio)によるドキュメントの情報漏えいリスクチェック支援 - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。記事冒頭に書くことが思いつかなかったので先日のGPT記事にあるサンプルを使ってみました。 試してみたところ、Tech Blog記事っぽい出力にはなりました。 入力(Prompt): R&D チームの徳田（[@dakuton](https://twitter.com/dakuton)）です。 出力: 皆さんおひさしぶりです。遅くなりましたが、11/18(金)に行われましたRuby Machine Learningの勉強会の模様を記事にしました。 サンプルは下記参照 tech-blog.optim.co.jp 背景 本題ですが、目的は本記事タイトルのとおりです。 参考: 個人情報保護委員会が個人情報を漏えい パブリックコメント参加者の氏名や所属先を誤掲載 - ITmedia NEWS 技術要素としては下記と同じような内容です。本記事ではこれをspa
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Developer Successチームの佐藤です。 11月10日、11日の2日間、LINEの技術カンファレンス「LINE DEVELOPER DAY 2021」を開催しました。まずは、ご参加/視聴いただいた皆さま、登壇いただいたLINEおよびそのグループ企業の登壇者の皆さま、運営に携わっていただいた皆さま、本当にありがとうございました。 LINE DEVELOPER DAY 2021は、COVID-19感染拡大の影響で昨年に引き続き、オンラインイベントでの開催となりました。この記事では、LINE DEVELOPER DAY 2021がどのような傾向で登録・参加・視聴されたのかを各種数値とともに振り返ってみようと思います。 C
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点について - Qiita
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点についてMachineLearningMLOps この記事では MLOps における Data Validation (データバリデーション: データの検証) について概要を述べます。 Data Validation はこれ単体では新しい概念ではありません。たとえば入力フォームで入力値に制約を設け、その制約を満たすデータのみを入力値として受け入れるようにするのは、サービス開発では一般的なことでしょう。入力欄において空欄を許さない、値は特定のリストからのみ選択できるといった制約を設けている例は、開発者でなくても一般的に目にしたことがあるかと思います。 このように Data Validation は一般的な概念ですが、MLOps においては非常に重要な概念となります。また、そこ
この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まずは6月にPMのAnandと書いた Kickstart your organization’s ML application development flywheel with the Vertex Feature Store（日本語版）です。 このプロダクト
Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高
DMBOK で一番読むのを楽しみにしていたのがデータモデルの章だったのですが、いざ読んでみると細かすぎるというか、求めていたものと違う感覚がありました。私がドメイン駆動設計から生成されるモデルの実用性に興味をもっていた時期なので、実践的な内容を求めているだけかもしれませんが…。DMBOK ではデータモデリング・スキームが多数紹介されていたり、データモデリング戦略を立ててモデリングしていきましょう・・・といった内容が書かれており、現職で起きている問題を解決するのには役立たなそうだと感じました。 そんな中で見つけたこのデータ総研さんの記事で合点がいきました： （EDW報告その2）データモデリングの逆襲 | 株式会社データ総研 データ構造を固めなくてもデータを格納して貯めていけるNoSQLは、Webを中心としたシンプルなビジネスで数多く採用されています。テキストも画像も音声も動画も、なんでも構造
LIXIL：BigQuery を中心としたデータ活用基盤 LIXIL Data Platform を構築、"データ活用の民主化" を推進 | Google Cloud 公式ブログ
LIXIL：BigQuery を中心としたデータ活用基盤 LIXIL Data Platform を構築、"データ活用の民主化" を推進 これまでも Google Cloud を有効活用してきた株式会社LIXIL（以下、LIXIL）。これからの新時代に向け、さまざまな先進的な取り組みを行っている同社ですが、中でも注目すべき取り組みが、BigQuery を中心としたデータ活用基盤『LIXIL Data Platform（以下、LDP）』です。"データ活用の民主化" を掲げ、2021 年 5 月に正式運用開始されたこの仕組みが、今、どのように LIXIL を変えようとしているのかを聞いてきました。 利用している Google Cloud ソリューション：スマート アナリティクス 利用している Google Cloud サービス：BigQuery、BigQuery ML、Data Catalog
Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat
MonotaRO Tech Talk #9 (データマネジメント編)を開催しました - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。10/28(木)に開催したMonotaRO Tech Talk #9 (データマネジメント編)のレポートをお届けします。イベント前の参加希望者が514人、イベント当日も310人がご参加くださり、大変盛り上がったイベントとなりました。 MonotaROのデータ活用と基盤の過去、現在、未来(香川和哉) 社内のデータ活用を一段階あげるための取り組み(吉本直人) データ基盤グループを支えるチームビルディング(吉田康久) 最後に MonotaROのデータ活用と基盤の過去、現在、未来(香川和哉) 最初の発表ではグループ長の香川より、MonotaROのデータ活用の変遷とそれを支えるデータ基盤のこれまでの歴史、現在取り組んでいる課題、今後の取り組みについて発表しました。10年以上の歴史があり、全社員の約6割を越えるデータ基盤の歴史について
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例｜Mercari Analytics Blog
Analytics Infra チームの@hizaです。 この記事ではメルカリの分析環境を改善した事例を紹介します。 今回は「運用に課題があってリプレースしたいが、業務への影響が大きすぎてリプレースできない」そんな板挟みな状況を解決した事例です。 また、その紹介を通じてメルカリのData Architectがどんな仕事をしているのかその一部を感じてもらえる記事をめざしました。 メルカリのデータ活用の現状 メルカリには様々な職種でデータを活用する文化があります。 AnalystやML Engineerの他にも、PdMやCustomer Supportなども業務にデータを活用しています。結果として社内のBigQueryユーザー数は月間800名を超えるほどになりました。 こういった環境ではデータが良く整備されている事が事業の成果に大きく影響しえます。例えば、使いやすいDWHがあれば多数の社員の業
みなさんがインターネット上のサービス、例えばAppleやGoogleなどのサービスを使うとき、「あなた本人が使っている」ことをサービス提供側は認識している。それを可能にするのが「アイデンティティー管理」（デジタルで扱うので「デジタルアイデンティティー管理」と呼ぶ）である。その第一人者は実は日本人で、OpenID Foundationという米国を本拠地にする国際標準化団体の理事長を務める崎村夏彦氏だ。同氏が著した『デジタルアイデンティティー 経営者が知らないサイバービジネスの核心』（2021年7月発行）は、DX経営者が自分の言葉で語らねばならないことをまとめているという。（聞き手＝日経BP 技術メディアユニット クロスメディア編集） 崎村さんは何をしている人なのか、一言で説明するとどうなりますか？ 「アイデンティティーのプロトコルを作成する人」です。AppleやGoogleなどが提供するサー
MLCraftは大量のデータを分析して可視化するオープンソースのLooker代替となるBIツールです。データ解析のスタートアップだったLookerは2020年の2月にGoogleに買収されました。 データの処理と可視化自体はCube.jsによって処理されます。MLCraftはダッシュボードを提供し、チームへのデータ共有の場や機械学習実験をワンクリックで行えるUIの提供をするそうです。 LookerはGoogle Cloudに統合されましたので、もともとGoogle Cloudを採用していたのならLookerを使うでしょうが、コスト的な問題、プライバシー、セキュリティ的な問題で使えない際にMLCraftは1つの選択肢となりそうです。MITライセンスのもとでソースコードが公開されています。 GithubMLCraft
Dataplex: data governance
Centrally discover, manage, monitor, and govern data and AI artifacts across your data platform, providing access to trusted data and powering analytics and AI at scale.
欧州統合データ基盤プロジェクト「GAIA-X（ガイア-エックス）」が、2020年6月に正式発足されました。ドイツ主導で立ち上げられ、フランスとともに準備が進められてきたGAIA-X発足の背景には、クラウドコンピューティングやデジタルプラットフォームビジネスの分野で米国や中国の後塵を拝しているとの欧州の危機感があると言われます。今回は、正式発足から半年が経過し、2021年にデータインフラのプロトタイプの構築、運用を開始予定のGAIA-Xについて取り上げます。 東芝 デジタルイノベーションテクノロジーセンター チーフエバンジェリスト アルファコンパス 代表 中小企業診断士、PMP（Project Management Professional） 1990年3月 早稲田大学大学院修士課程（機械工学）修了。1990年に東芝に入社後、製造業向けSCM、ERP、CRM、インダストリアルIoTなどのソリ
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
Imagine you are a business leader ready to start your day, but you wake up to find that your daily business report is empty — the data is late, so now you are blind. Over the last year, multiple teams came together to build SLA Tracker, a visual analytics tool to facilitate a culture of data timeliness at Airbnb. This data product enabled us to address and systematize the following challenges of d
メルペイのミッション「信用を創造する」に深〜く関わるData&MLの歴史を改めて紐解いてみる！ | mercan (メルカン)
「信用を創造して、なめらかな社会を創る」とは、メルペイが創業時から掲げているミッションです。「信用を創造する」は、売る・買うの取引を通じて信用情報を可視化し、その信用に基づいてお金を自由に使える世界をつくること。「なめらかな社会」とは、一人ひとりが今よりも自由に、平等にお金を使い、欲しいものを手に入れたり、やりたいことが叶う社会を指しています。 なかでも「信用を創造する」部分に大きく関わるのが、メルペイでデータを活用しビジネスのグロース施策を推進するData & MLグループです。 では、Data & MLグループではどんな仕事をしているのか。そして、どういう組織体制なのか。Data & MLにある3つのチームでそれぞれエンジニアリングマネージャー（EM）を務める@zak3、@tori、@hase-ryo、@takafujiに聞いてみました。 メルペイData & ML、エンジニアリングマ
色々なDBに使えるOSSデータカタログAmundsenからAmazon Athenaのメタデータを取得してみた | DevelopersIO
どうも！DA部の春田です。 Lyft社製のOSSデータカタログAmundsenの魅力の一つは、そのコネクタの豊富さです。すでにかなりの数のテーブル・コネクタ、ダッシュボード・コネクタが備わっているので、既存のETL基盤にサッと導入することができます。 amundsen-io/amundsen: Supported Integrations 今回はAmundsenをEC2インスタンス上でセットアップし、Amazon Athena内のテーブルメタデータを取得してみました。 Amundsenのセットアップ 下記事でローカルのMacにAmundsenをセットアップしていますが、今回も改めてセットアップ方法を記載しておきます。 今回使用するEC2インスタンスは、Ubuntu 20.04 LTSのt3.mediumでEBSを15GB使用します。パブリックIPを有効化し、セキュリティグループはSSH用の
Image courtesy of Andrey_Kuzmin on ShutterstockAs companies increasingly leverage data to power digital products, drive decision making, and fuel innovation, understanding the health and reliability of these most critical assets is fundamental. For decades, organizations have relied on data catalogs to power data governance. But is that enough? Debashis Saha, VP of Engineering at AppZen, formerly
兵庫県出身の杉本和行氏は、現在70歳。 東大卒業後、旧大蔵省に入省した杉本氏は、2008年には事務方トップの事務次官に就いた。省庁再編で「大蔵省」は「財務省」へと名を変えていたが、霞ヶ関における「最強官庁」であることに変わりはない。しかし、難しいテーマもほがらかに説明する杉本氏からは、いわゆる「官僚答弁」の印象は受けない。 退官後は、公正取引委員会委員長（2013～2020年）として、芸能界や巨大IT企業といった新しい分野でも競争環境適正化に注力した。官民問わず重要度を増すデジタル化社会における「競争のあり方」について聞いた。（全2回の2回め／前編を読む） もともと一般的なアナログ人間 ――公正取引委員会委員長時代にはGAFA規制といったITプラットフォームの業態、またデジタルテクノロジーに触れる機会が多かったと想像しますが、もともとお好きな分野なんですか？ 杉本 いやいや、そんなことない
How Netflix Scales its API with GraphQL Federation (Part 2)
In our previous post and QConPlus talk, we discussed GraphQL Federation as a solution for distributing our GraphQL schema and implementation. In this post, we shift our attention to what is needed to run a federated GraphQL platform successfully — from our journey implementing it to lessons learned. Our Journey so FarOver the past year, we’ve implemented the core infrastructure pieces necessary fo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
GOのデータ・AIを活用する「組織」を30分で紹介
先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース
富士通子会社、冤罪に加担 英郵便の会計システム欠陥 - 日本経済新聞
データインテリジェンスの動向を呟く｜Rytm / Quollio
データ整備の優先順位付けに役立つテクニック
データプロダクトマネージャーとは【データ用語解説】｜よしむら＠データマネジメント担当｜note
大規模分散学習でGPUを食べまくる人｜マソラ
1ペタバイトのデータセットで機械学習する / WebDataset入門
LINEの大規模なData PlatformにData Lineageを導入した話
LINE DEVELOPER DAY 2021 振り返りレポート
MLOps系プロダクトの布教活動報告 - Qiita
2021/12/08 データモデリングの文脈変化 - /home/by-natures/dev*
エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
GAFAの強さの源泉「アイデンティティー管理」 第一人者に聞く
大量のデータを分析して可視化するオープンソースのLooker代替・「MLCraft」
GAIA-Xとは何か、GAFAMも巻き込む欧州のクラウド・データインフラ構想
Visualizing Data Timeliness at Airbnb
Data Catalogs Are Dead; Long Live Data Discovery
「公務員のデジタル人材調達は難しい」GAFA時代の競争、日本はどう規制すべきなのか | 文春オンライン