並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 40件

新着順 人気順

dataPlatformの検索結果1 - 40 件 / 40件

dataPlatformに関するエントリは40件あります。 データデータ基盤データ分析 などが関連タグです。 人気エントリには 『バッチ処理 プラクティス』などがあります。
  • バッチ処理 プラクティス

    バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か?」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。

      バッチ処理 プラクティス
    • デジタル庁のデータ分析基盤「sukuna」|デジタル庁

      はじめまして。デジタル庁ファクト&データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト&データユニット」ファクト&データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており(参考:デジタル庁 - 組織情報)、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト&データユニットも

        デジタル庁のデータ分析基盤「sukuna」|デジタル庁
      • データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball

        ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしくはWhere)の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, (仕事以外の営みにおける)個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 (データ基盤に限らず)クラウド料金の基本的な考え方 をGoogle

          データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball
        • エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ

          こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基

            エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
          • AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤

            ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏:それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの

              AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
            • データ基盤チーム0人で運用は回るのか?! 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ

              技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0

                データ基盤チーム0人で運用は回るのか?! 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
              • GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方

                2020/3/31 Google Cloud Data Platform Dayでの、山田、佐伯、白鳥の講演資料になります

                  GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方
                • "壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog

                  こんにちは。MackerelチームにおいてCRE(Customer Reliability Engineer)をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参

                    "壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog
                  • データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog

                    こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU

                      データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
                    • マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ - 赤帽エンジニアブログ

                      インテグレーションのためのミドルウェア製品のテクニカルサポートを担当している山下です。 今回は レッドハットのシニアアーキテクトである Eric Murphy さんによる「マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ(CDC)」の翻訳記事です。この記事では、イベントソーシング、CDC、CDC + Outboxパターン、CQRSをそれぞれ簡単に説明しながら、それらの特性の違いを比較します。また、イベントソーシングとCQRSの簡易な説明がなされている他、あまり明確に語られることが少ないもののソフトウェアの設計に大きな影響をおよぼすドメインイベントとチェンジイベントの違いにも触れられています。 [原文] Distributed Data for Microservices — Event Sourcing vs. Change Data Captur

                        マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ - 赤帽エンジニアブログ
                      • メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526

                        Google Cloud Day: Digital ’21 の発表資料です。 https://cloudonair.withgoogle.com/events/platinum_primenumber?talk=sessionvideo ---------------------------------------------------------------------------------------------------- データドリブンに事業を推進するメルカリグループのデータ分析基盤を紹介します。 BigQuery とマネージド ETL & ワークフローサービス trocco® の活用で、Google Cloud 領域外の新規データ連携毎に発生するフルスクラッチ開発から脱却し、希少なデータエンジニア工数を創出。決済データと紐づけた営業活動分析にも成功しています。 分析基盤構成

                          メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526
                        • LINEの大規模なData PlatformにData Lineageを導入した話

                          LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか

                            LINEの大規模なData PlatformにData Lineageを導入した話
                          • Overview of The Modern Data Stack / モダンデータスタック概論

                            顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~

                              Overview of The Modern Data Stack / モダンデータスタック概論
                            • 安心して使えるデータ基盤を作る

                              From Cloud-Native Java and Quarkus 3 with Love @ DevoxxUK 2023 London

                                安心して使えるデータ基盤を作る
                              • Gunosy のデータ活用を支える統合データ基盤 Baikal の話 - Gunosy Tech Blog

                                はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて

                                  Gunosy のデータ活用を支える統合データ基盤 Baikal の話 - Gunosy Tech Blog
                                • データ基盤の品質向上への取り組み - Classi開発者ブログ

                                  こんにちは、データエンジニアの石井です。 先日公開した記事「社内向けのデータ基盤から集計結果をReverse ETLしてサービスに組み込んだ話」で、ダッシュボード機能のリリースにより、Classiのデータ基盤が「社内用データ基盤」から「ユーザー影響あるシステムの一部」へ進化した話をしました。「ユーザー影響あるシステムの一部」への進化に伴い、データ基盤の品質担保は必要不可欠です。今回は、データ基盤の品質向上に取り組んだKANTプロジェクトについてご紹介します。 KANTプロジェクト 背景・課題 Classiのデータ基盤がユーザー影響あるシステムの一部になる前、つまり社内用データ基盤だった頃には以下のような課題がありました。 データ基盤の状態把握 マルチクラウドにおけるデータ基盤全体の状態把握ができていなかった データ基盤の実行状態(SUCCESS, FAIL, RUNNINGなど)の把握が、

                                    データ基盤の品質向上への取り組み - Classi開発者ブログ
                                  • Retty データ分析チーム - 立ち上げ2年目の振り返り 〜データプラットフォーム/データ民主化/統計モデル〜 - Retty Tech Blog

                                    この記事はRettyアドベントカレンダー19日目の記事です。 昨日はretty-y-takaseによるプロポーザル提出は個人のモチベーションに左右されずコントロールすることが可能なのかでした。 1. はじめに こんにちは、Rettyのデータ分析チームでマネージャーをやっている平野(twitter / fb)です。 データ分析チームを去年の4月に立ち上げてから1年と9ヶ月が立ちました。1年目ではチームの意義や組織における位置づけ・分析するための環境つくりなど手広くやってきました。 1年目を振り返ると、データ分析チームとして各データアナリストがPJに貢献する体制が構築できたのと、分析するためのデータレイク層やデータマート・ダッシュボード開発など進み、組織としては最低限のデータ活用を行える土壌が整えることができたと思っています。 そのときの取り組んだ内容は去年のアドベントカレンダーで紹介してます

                                      Retty データ分析チーム - 立ち上げ2年目の振り返り 〜データプラットフォーム/データ民主化/統計モデル〜 - Retty Tech Blog
                                    • Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform

                                      Google Cloudのサーバレスなサービスでデータ基盤を作った話.

                                        Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
                                      • 自由と統制のバランス 分析基盤のアプローチ

                                        @Data Pipeline Casual Talk Vol.3 https://dpct.connpass.com/event/130109/

                                          自由と統制のバランス 分析基盤のアプローチ
                                        • LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像

                                          LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像 Feature as a Service at Data Labs #1/2 2019年11月20、21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。20日は「Engineering」をテーマに技術的な内容のセッション、21日は「Production」をテーマに実践的な内容のセッションを多数取り揃え、LINEのエンジニアリングにおける知見を各プロダクトのキーマンがシェアします。「Feature as a Service at Data Labs」に登壇したのはLINE Machine LearningチームのChaerim Yeo氏。データ専門研究開発組織「LINE Data Labs」での機械学習の特徴量

                                            LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像
                                          • リブセンスでのMLシステム開発・運用と 研究・開発アシスタントの取り組み

                                            2019/08/02 これからの開発チームのあり方を考える @ Sansan Innovation Lab

                                              リブセンスでのMLシステム開発・運用と 研究・開発アシスタントの取り組み
                                            • レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例|Mercari Analytics Blog

                                              Analytics Infra チームの@hizaです。 この記事ではメルカリの分析環境を改善した事例を紹介します。 今回は「運用に課題があってリプレースしたいが、業務への影響が大きすぎてリプレースできない」そんな板挟みな状況を解決した事例です。 また、その紹介を通じてメルカリのData Architectがどんな仕事をしているのかその一部を感じてもらえる記事をめざしました。 メルカリのデータ活用の現状 メルカリには様々な職種でデータを活用する文化があります。 AnalystやML Engineerの他にも、PdMやCustomer Supportなども業務にデータを活用しています。結果として社内のBigQueryユーザー数は月間800名を超えるほどになりました。 こういった環境ではデータが良く整備されている事が事業の成果に大きく影響しえます。例えば、使いやすいDWHがあれば多数の社員の業

                                                レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例|Mercari Analytics Blog
                                              • [GCP] AI Platform Notebooksが正式リリースされていたので使ってみる | DevelopersIO

                                                こんにちは、Mr.Moです。 GCPのAI Platform Notebooksが先月末でGA(Generally Available:正式リリース)になりましたね!Google Colaboratoryも良いですが、こちらのサービスも気になるので早速使ってみます。 https://cloud.google.com/ai-platform/notebooks/docs/release-notes#March_31_2020 AI Platform Notebooksとは AI Platform Notebooks は、JupyterLab 統合開発環境を提供するマネージド サービスです。機械学習のデベロッパーとデータ サイエンティストは、最新のデータ サイエンスと機械学習のフレームワークがプリインストールされた JupyterLab を実行するインスタンスをワンクリックで作成できます。No

                                                  [GCP] AI Platform Notebooksが正式リリースされていたので使ってみる | DevelopersIO
                                                • 【参加レポート】Data Platform Meetup vol.2の発表内容まとめ&最近のDP界隈の話題 - フリーランチ食べたい

                                                  本日、開催されたData Platform Meetup vol.2に参加してきました。発表の内容や関連するリンクをまとめました。 data-platform-meetup.connpass.com 開催日時: 2019年12月2日 会場: Pixivさんオフィス Data Platform Meetupとは connpassページからの引用です。 データプラットフォームを設計/開発/利用している方(データエンジニア/データアナリスト/データサイエンティスト/機械学習エンジニア等)がノウハウを発表したりカジュアルに情報交換できるイベントです。 第一回は9月に開催され、定員の120名を大きく超える応募があったように大盛況でした。 【増枠】Data Platform Meetup - connpass 個人的にはeurekaの鉄本さんの発表資料が自分の状況に当てはまることが多く、大変勉強になり

                                                    【参加レポート】Data Platform Meetup vol.2の発表内容まとめ&最近のDP界隈の話題 - フリーランチ食べたい
                                                  • Facebook News Feed インフラ責任者がスマニュー新VPoEに。「社内開発プラットフォームを作り、エンジニアを全力支援する」 - スマQ(スマキュー)|スマートニュースの「はたらく」をみつける

                                                    Youlin Li(左)と前田俊太郎(右) Facebook で News Feedのインフラ責任者を務めた Youlin Liが、スマートニュースの Vice President of Engineering, Backend System and Foundation に就任しました。 about.smartnews.com Youlin の来日に合わせて、Vice President of Ad Product の前田俊太郎がインタビューしました。Facebook でどんなことをしてきたのか、その経験を生かしてスマートニュースで何を成し遂げようと考えているのか、徹底的に聞きました(構成:スマートニュース通訳・翻訳チーム&スマQ編集部)。 Facebook を支える「社内開発プラットフォーム」の重要性 前田 よろしくお願いします。まずは自己紹介を。 Youlin Youlin Li で

                                                      Facebook News Feed インフラ責任者がスマニュー新VPoEに。「社内開発プラットフォームを作り、エンジニアを全力支援する」 - スマQ(スマキュー)|スマートニュースの「はたらく」をみつける
                                                    • データ基盤構築をする際におさえておくべき7つのポイント - Qiita

                                                      今年の10月からグロービスのデータサイエンスチームに配属され、2ヶ月間データ基盤構築をしてきました。実際やってきたことを踏まえて、データ基盤の構築時に気をつけるべきポイント7つを紹介していきたいと思います。 最強だと思う分析用データベースを選ぶ ワークフローエンジンでジョブを管理する ステークホルダーとの調整を優先度高くする 権限(IAM)の運用ルールを決める 監視設定を忘れずに メタデータ管理ツールを用意する SQL中心アーキテクチャを意識する 1. 最強だと思う分析用データベースを選ぶ ここが一番大事です。自分が最強だと思う分析用のデータベースを選んでください。ちなみに、私はBigQuery信者なので、BigQueryを強くおすすめしますが、いろんなデータベースがあるので今の環境に一番あった分析用データベースを選んでください。 分析用データベースの全体像を掴むには渡部徹太郎さんの資料「

                                                        データ基盤構築をする際におさえておくべき7つのポイント - Qiita
                                                      • 大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと

                                                        2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏(以下、並川):本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ

                                                          大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと
                                                        • How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh

                                                          How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh Many enterprises are investing in their next generation data lake, with the hope of democratizing data at scale to provide business insights and ultimately make automated intelligent decisions. Data platforms based on the data lake architecture have common failure modes that lead to unfulfilled promises at scale. To address these

                                                            How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh
                                                          • データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)

                                                            2019/3/7に開催される勉強会「データ分析を理解する。データウェアハウスモデリング入門」の講演資料の事前公開版です。最終版は別途公開します。 勉強会については以下を参照してください。 https://clubdb2.connpass.com/event/120866/

                                                              データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
                                                            • GOのデータ・AIを活用する「組織」を30分で紹介

                                                              GO TechTalk #25 で発表した資料です。 ■ YouTube https://www.youtube.com/live/lH0z49oHRWI?feature=shared&t=98 ■ connpass https://jtx.connpass.com/event/306325/

                                                                GOのデータ・AIを活用する「組織」を30分で紹介
                                                              • データ基盤開発ひとりのカレンダー | Advent Calendar 2019 - Qiita

                                                                The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.

                                                                  データ基盤開発ひとりのカレンダー | Advent Calendar 2019 - Qiita
                                                                • Byte Down: Making Netflix’s Data Infrastructure Cost-Effective

                                                                  By Torio Risianto, Bhargavi Reddy, Tanvi Sahni, Andrew Park Background on data efficiencyAt Netflix, we invest heavily in our data infrastructure which is composed of dozens of data platforms, hundreds of data producers and consumers, and petabytes of data. At many other organizations, an effective way to manage data infrastructure costs is to set budgets and other heavy guardrails to limit spendi

                                                                    Byte Down: Making Netflix’s Data Infrastructure Cost-Effective
                                                                  • メルカリ・メルペイの成長を支える データ基盤とはどんなものか

                                                                    「メルカリのデータドリブン文化を支える、データプラットフォームとデータマネジメントの話」の発表資料です https://mercari.connpass.com/event/207191/

                                                                      メルカリ・メルペイの成長を支える データ基盤とはどんなものか
                                                                    • Google Cloud Webinars

                                                                      Sign in or create account To register for events Continue with Google Continue with email

                                                                        Google Cloud Webinars
                                                                      • デジタルプラットフォーム (METI/経済産業省)

                                                                        近年、デジタル技術を用いた取引が利用者の市場アクセスを飛躍的に向上させ、中でもデジタルプラットフォームは重要な役割を担っています。他方、デジタルプラットフォームを巡っては、取引の透明性や公正性などについての懸念なども見られます。 こうした背景を踏まえ、経済産業省では、デジタルプラットフォームを巡る市場のルール整備や、取引上の課題を関係者間で共有するための仕組みづくり、変化が激しいデジタル市場についての包括的な調査等を実施しています。 デジタルプラットフォーム取引透明化法 デジタルプラットフォームにおける取引の透明性と公正性の向上を図るために、「特定デジタルプラットフォームの透明性及び公正性の向上に関する法律」が令和2年5月27日に成立し、同年6月3日に公布されました。 同法では、デジタルプラットフォーム提供者に対し、取引条件等の情報の開示、運営における公正性確保、運営状況の報告を義務付け、

                                                                        • NTTデータ先端技術、AI・機械学習プラットフォーム「Dataiku」を販売

                                                                          • Open sourcing Querybook, Pinterest’s collaborative big data hub

                                                                            An efficient big data solution for an increasingly remote-working world. Charlie Gu | Tech Lead, Analytics Platform, Lena Ryoo | Software Engineer, Analytics Platform, and Justin Mejorada-Pier | Engineering Manager, Analytics Platform With more than 300 billion Pins, Pinterest is powering an ever-growing and unique dataset that maps interests, ideas, and intent. As a data-driven company, Pinterest

                                                                              Open sourcing Querybook, Pinterest’s collaborative big data hub
                                                                            • 日立、オンプレミスのデータ基盤を従量課金で利用できる新サービス 最短1週間での導入に対応

                                                                              • https://dl.acm.org/doi/10.1145/3299869.3314050

                                                                                • 2021/12/08 データモデリングの文脈変化 - /home/by-natures/dev*

                                                                                  DMBOK で一番読むのを楽しみにしていたのがデータモデルの章だったのですが、いざ読んでみると細かすぎるというか、求めていたものと違う感覚がありました。私がドメイン駆動設計から生成されるモデルの実用性に興味をもっていた時期なので、実践的な内容を求めているだけかもしれませんが…。DMBOK ではデータモデリング・スキームが多数紹介されていたり、データモデリング戦略を立ててモデリングしていきましょう・・・といった内容が書かれており、現職で起きている問題を解決するのには役立たなそうだと感じました。 そんな中で見つけたこのデータ総研さんの記事で合点がいきました: (EDW報告その2)データモデリングの逆襲 | 株式会社データ総研 データ構造を固めなくてもデータを格納して貯めていけるNoSQLは、Webを中心としたシンプルなビジネスで数多く採用されています。テキストも画像も音声も動画も、なんでも構造

                                                                                    2021/12/08 データモデリングの文脈変化 - /home/by-natures/dev*
                                                                                  1

                                                                                  新着記事