How Uber Achieves Operational Excellence in the Data Quality Experience
Uber delivers efficient and reliable transportation across the global marketplace, which is powered by hundreds of services, machine learning models, and tens of thousands of datasets. While growing rapidly, we’re also committed to maintaining data quality, as it can greatly impact business operations and decisions. Without data quality guarantees, downstream service computation or machine learnin
高速な開発とデータ品質のトレードオフを超えるためにできること｜望月駿一 / Ubie Discovery
このnoteでは、事業立ち上げ期の高速な開発とデータ品質の間に発生するトレードオフに、限られたリソースで対処するために取り組んだ内容について紹介します。 はじめまして。Ubie Discoveryで機械学習エンジニアをやっている望月(@smochi_pub)です。 Ubieに一人目のデータ人材として入社して、BI的なデータ整備・活用から予測アルゴリズムの開発まで幅広く担当してきました。 Ubieでは、アルゴリズムの検証や学習のために、初期からデータを貯めることを意識して取り組んできました。その過程で、高速にUIや仕様が変わっていくプロダクトを抱えつつ、データを「正しく」貯めることの難しさも体験してきました。 高速な開発とデータ品質のトレードオフ開発チームは高速に検証を行うことにフォーカスしているため、UIや仕様もどんどん変わって行きます。実際にユビーでは、toC向けのAI受診相談ユビーでは
データメッシュで作る消費財企業向けモダンデータレイクのアーキテクチャ | Amazon Web Services
Amazon Web Services ブログ データメッシュで作る消費財企業向けモダンデータレイクのアーキテクチャ COVID-19 パンデミック以来、世界中でオンラインショッピングと消費者向け直販（Direct To Consumer; DTC）への劇的なシフトが見られます。消費財（Consumer Packaged Goods; CPG）業界がどの業界よりもこの変化を感じていることは間違いないでしょう。Statista 社によると「小売ウェブサイトへの訪問者数は全世界で、2020年1月の160億7000万回から、2020年6月には約 220 億回に増加」しました。ウェブサイトへのトラフィックが半年間で27% 増加したことで、データ企業、特に消費財企業にとって管理すべきデータ量が急激に増えました。 これまで消費財企業の多くは消費者と直接的な接点を持ってきませんでした。そのためデータは、
BigQuery 認可済みの UDF を利用した安全な ID マッチング
BigQuery 認可済みの UDF を利用した安全な ID マッチングはじめに自社サービスの顧客理解や、効率的な広告配信、パーソナライズした顧客アプローチを行うために、顧客データを収集・統合・分析を行う企業が非常に増えています。 その中の多くの企業は、自社サービスの顧客データだけでの分析を行っているのではなく、その企業・グループ会社が保有する様々なサービスの 1st Party Data（CRM） とのデータ統合や、もしくはパートナー・外部企業が持つ顧客データ（DMP）とのデータ統合を行い、顧客データをリッチにすることで より深い顧客データ分析を行っています。その ID データ統合の手法のことを「ID マッチング/名寄せ/突合」などと呼ぶことが多いです。 このような社内外とのデータ交換・データ共有の取り組みが一般的になってきたものの、実際に行っているプロセスを見ると、下記のような手法が散
Rettyのデータ基盤の歴史と統合 - Retty Tech Blog
書き手：@takegue (分析チーム) Rettyのデータ活用の多くにはBigQueryが現在利用されており、その活用の方法についてこれまでこのブログでもいくつかとりあげさせていただきました。 engineer.retty.me そのほか分析チームの記事一覧 これらの記事はおかげさまで好評いただいております。いつもありがとうございます。 しかしながら、我々が初期からこのようにBigQueryを使い続けてきかというと、実はそうではありません。 事業の成長とともにデータ基盤を変化させてきた経緯があり、今の成果は過去のトライアンドエラーの賜物であり、数多くの苦労を背景にしてできあがっています。 ほんのつい最近まで、Rettyで構築されていたデータ基盤は表立って見える実態よりもかなり複雑なパイプラインで構成されていました（以降で触れますが、4種類のデータパイプラインが共存しているカオスな状態でし
Data Engineering News 2021年2〜3月号 | trocco®(トロッコ)
Google BigQueryのニュースまとめ BigQueryクラウドコンソールのUIアップデート Webブラウザ上からBigQueryに対してクエリを実行できる「BigQueryクラウドコンソール」に以下のアップデートが入りました。（※リリース自体は1月14日にされていたみたいですが、順次適用されていたため今回のニュースに含ませていただきました） マルチタブ対応 「クエリ履歴」「保存したクエリ」「ジョブ履歴」が画面下部に固定表示されるように クエリエディタに「自動補完」「キーワード検索」機能追加 参考: Google公式アナウンス SQLから列の削除オペレーションが可能に（preview版） Standard SQLにALTER TABLE DROP COLUMN構文が追加されました。 2020年10月に列追加（ALTER TABLE ADD COLUMN）構文が追加されましたが、その
Data Catalogs Are Dead; Long Live Data Discovery
Image courtesy of Andrey_Kuzmin on ShutterstockAs companies increasingly leverage data to power digital products, drive decision making, and fuel innovation, understanding the health and reliability of these most critical assets is fundamental. For decades, organizations have relied on data catalogs to power data governance. But is that enough? Debashis Saha, VP of Engineering at AppZen, formerly
【HR Tech】「複数システム x 複数体系 x 独自ルール 」の超混沌とした暗黙知を整え、適切な権限設定で形式知として提供する仕組みづくり | BLOG - DeNA Engineering
2020.08.03 カルチャー・環境 【HR Tech】「複数システム x 複数体系 x 独自ルール 」の超混沌とした暗黙知を整え、適切な権限設定で形式知として提供する仕組みづくり by Masaki-Sawamura 概要と想定読者 この記事ではDeNAにおける人事領域でのエンジニアリング事例を解説します。DeNAでは2018年４月より内製のテクノロジーチームを置き、現場のマネジメントで活かされるよう、暗黙知を形式知にするというテーマでとりくんできました。人事情報は基幹システム、勤怠、給与、会計などなど様々なシステムとの連携が必要です。そしてそれらはどれも独自のローカルルールや特殊事情を抱えています。データ集約自体は数年前からとりくんできていましたが、何度も改修を経て各処理が複雑にからみあい、頻繁に不具合がおきる状況となっていました。まず基盤としてそれらのアーキテクチャを整え、さらに、
"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog
こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参
Cloud data governance — Collibra | Google Cloud Blog
Evren Eryurek PhDDirector Product Management, Google Cloud Data governance is an essential part of managing your cloud infrastructure, particularly if you’re taking advantage of multiple cloud providers. In many industries, you need to show where data has been stored, and how it’s been used, to meet regulations. In addition, using access controls and other data governance tools helps ensure that o
The 34 Best Data Management Tools, Systems and Solutions
The 34 Best Data Management Tools, Systems and Solutions Data management tools boast functions like archiving, backup, disaster and recovery, archival, search, analytics, and more. While giants like Amazon and Google have dominated this niche, many smaller companies have entered the market to offer tools for customers with data needs of all sizes. Data management isn't straightforward. It demands
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Dataprep by Trifacta cheat sheet | Google Cloud Blog
Data Mesh Simplified: A Reflection Of My Thoughts On Data Mesh
Defining a Data Governor
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡
Is Data Privacy A Privilege? The Racial Implications Of Technology Based Tools In Government | Techdirt
Duplicate data spending: Avoid wasting your budget | Collibra
The Ins and Outs of Data Acquisition: Beliefs and Best Practices – First San Francisco Partners
Monitor and alert on new files in cloud storage | Google Cloud Blog
Data Integration with Field Level Lineage