並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 153件

新着順 人気順

dataManagementの検索結果1 - 40 件 / 153件

  • 政府統計の総合窓口 GL01010101

    統計データを探す すべて 分野から探す国土・気象人口・世帯労働・賃金農林水産業鉱工業商業・サービス業企業・家計・経済住宅・土地・建設エネルギー・水運輸・観光情報通信・科学技術教育・文化・スポーツ・生活行財政司法・安全・環境社会保障・衛生国際その他 組織から探す 内閣官房人事院内閣府公正取引委員会警察庁消費者庁こども家庭庁総務省公害等調整委員会消防庁法務省外務省財務省国税庁文部科学省文化庁スポーツ庁厚生労働省中央労働委員会農林水産省林野庁水産庁経済産業省資源エネルギー庁特許庁中小企業庁国土交通省観光庁海上保安庁環境省防衛省 主要な統計から探す 50音から探す あ い う え お か き く け こ さ し す せ そ た ち つ て と な に ぬ ね の は ひ ふ へ ほ ま み む め も や ゆ よ ら り る れ ろ わ すべて見る 分野から探す 国土・気象人口・世帯労働・賃金農林

      政府統計の総合窓口 GL01010101
    • イミュータブルデータモデル - kawasima

      はじめに CRUDのうちUPDATEがもっともシステムを複雑化する。更新には複雑なルールが伴うからだ。業務的に複雑なルールが存在するのは仕方ないこともあるが、システム、設計で複雑さを更に増さないようにしたい。UPDATEに着目し、その発生をできるだけ削ることによって複雑さをおさえるためには、まずデータモデルをそのように設計しておかなけれなならない。このイミュータブルデータモデルは、それを手助けする手法で、手順に沿って実施すればある程度のスキルのバラつきも吸収できるように組み立てられている。 手順 Step1. エンティティを抽出する まずエンティティを抽出するところから始める。 5W1Hがエンティティの候補 従業員,患者,プレイヤー,顧客,生徒,... 製品,サービス,コース,曲,... 時間,日付,月,年,年度,... 送付先,URL,IPアドレス,... 注文,返品,入金,出金,取引,

        イミュータブルデータモデル - kawasima
      • calibre - E-book management

        calibre: The one stop solution for all your e-book needs. Comprehensive e-book software.

        • データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball

          ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしくはWhere)の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, (仕事以外の営みにおける)個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 (データ基盤に限らず)クラウド料金の基本的な考え方 をGoogle

            データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball
          • エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ

            こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基

              エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
            • Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log

              はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat

                Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
              • 「公務員のデジタル人材調達は難しい」GAFA時代の競争、日本はどう規制すべきなのか | 文春オンライン

                兵庫県出身の杉本和行氏は、現在70歳。 東大卒業後、旧大蔵省に入省した杉本氏は、2008年には事務方トップの事務次官に就いた。省庁再編で「大蔵省」は「財務省」へと名を変えていたが、霞ヶ関における「最強官庁」であることに変わりはない。しかし、難しいテーマもほがらかに説明する杉本氏からは、いわゆる「官僚答弁」の印象は受けない。 退官後は、公正取引委員会委員長(2013~2020年)として、芸能界や巨大IT企業といった新しい分野でも競争環境適正化に注力した。官民問わず重要度を増すデジタル化社会における「競争のあり方」について聞いた。(全2回の2回め/前編を読む) もともと一般的なアナログ人間 ――公正取引委員会委員長時代にはGAFA規制といったITプラットフォームの業態、またデジタルテクノロジーに触れる機会が多かったと想像しますが、もともとお好きな分野なんですか? 杉本 いやいや、そんなことない

                  「公務員のデジタル人材調達は難しい」GAFA時代の競争、日本はどう規制すべきなのか | 文春オンライン
                • TechCrunch | Startup and Technology News

                  Meta will soon officially permit users as young as 10 to use its Meta Quest 2 and 3 VR headsets — if their parents say it’s okay, anyway. In a blog post, the tech giant says that there’s Nikola Corp. is laying off 270 employees, or about 23% of its workforce, and restricting its electric truck efforts to North America as it seeks to preserve cash. The company said Friday it will lay o

                    TechCrunch | Startup and Technology News
                  • "壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog

                    こんにちは。MackerelチームにおいてCRE(Customer Reliability Engineer)をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参

                      "壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog
                    • Rules of Machine Learning:  |  Google for Developers

                      Rules of Machine Learning: Stay organized with collections Save and categorize content based on your preferences. Best Practices for ML Engineering Martin Zinkevich This document is intended to help those with a basic knowledge of machine learning get the benefit of Google's best practices in machine learning. It presents a style for machine learning, similar to the Google C++ Style Guide and othe

                        Rules of Machine Learning:  |  Google for Developers
                      • データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog

                        こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU

                          データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
                        • Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210

                          ---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう! https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高

                            Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
                          • データ集計業務を半年で300案件捌いて見えてきた勘所 #データ解析 #willgate / 20180425

                            統計やらNight!!データマイニングMeet up #2 @ウィルゲート の発表資料です。 refs. http://yuzutas0.hatenablog.com/entry/2018/05/17/083000

                              データ集計業務を半年で300案件捌いて見えてきた勘所 #データ解析 #willgate / 20180425
                            • ML Ops: Machine Learning as an Engineering Discipline

                              As ML matures from research to applied business solutions, so do we need to improve the maturity of its operation processes So, your company decided to invest in machine learning. You have a talented team of Data Scientists churning out models to solve important problems that were out of reach just a few years ago. All performance metrics are looking great, the demos cause jaws to drop and executi

                                ML Ops: Machine Learning as an Engineering Discipline
                              • マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ - 赤帽エンジニアブログ

                                インテグレーションのためのミドルウェア製品のテクニカルサポートを担当している山下です。 今回は レッドハットのシニアアーキテクトである Eric Murphy さんによる「マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ(CDC)」の翻訳記事です。この記事では、イベントソーシング、CDC、CDC + Outboxパターン、CQRSをそれぞれ簡単に説明しながら、それらの特性の違いを比較します。また、イベントソーシングとCQRSの簡易な説明がなされている他、あまり明確に語られることが少ないもののソフトウェアの設計に大きな影響をおよぼすドメインイベントとチェンジイベントの違いにも触れられています。 [原文] Distributed Data for Microservices — Event Sourcing vs. Change Data Captur

                                  マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ - 赤帽エンジニアブログ
                                • TechCrunch | Startup and Technology News

                                  It’s that time of week again, folks. Welcome to Week in Review (WiR), TechCrunch’s regular digest of the past week in tech. New here? Not to worry — sign up here to get WiR in your i

                                    TechCrunch | Startup and Technology News
                                  • 先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース

                                    どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWebサイトの回遊状況を元にユーザーの興味や関心を推測してリコメンデーションを行ったり、検索結果を提供したりするなど、ユーザーとクライアント、双方が満足できるマッチング機会の創出に取り組んでいます。 このような取り組みにおいて、新しく生まれた価値のある情報を、より素早く活用していく「データの鮮度」は大事な要素になります。データの鮮度とは、すなわちリアルタイム性のこと。多様かつ膨大な量のデータを取り扱うビジネスでは、このリアルタイム性をいかに高められるかが、意思決定の精度や速度に直結します。 リクルー

                                      先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース
                                    • データ保護完全ガイド

                                      本書には、バックアップ、アーカイブ、リストア、リトリーブ、それらを行う上で用いられる手法、ソフトウェア、サービス、バックアップとアーカイブを保存する際に使用されるハードウェアなど、データ保護に関して必要な知識が全て詰まっています。この20年間に現れた新技術についても触れ、従来のバックアップから最新のIT技術までそれぞれの良い点と悪い点を理解することができます。「バックアップとアーカイブの違い」「テープがあるべき場所」「Microsoft 365やSalesforceのようなSaaS製品をバックアップすべきか」といったバックアップ業界で議論される多くのテーマにも決着をつけています。データ保護に関する決定を下すための重要な基本概念を学べる1冊です。 訳者まえがき 序文 はじめに 1章 データへのリスク:我々はなぜバックアップするのか 1.1 人災 1.1.1 事故 1.1.2 悪いコード 1.

                                        データ保護完全ガイド
                                      • データマネジメント 2014 で異彩を放っていた @okachimachiorz1 さんの「正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜」のメモ - #garagekidztweetz

                                        データマネジメント 2014に参加してきたレポートの最後は、以下のセッションのみをひとつ切り出しました。 14:00-14:40 C-5 『正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜』 ノーチラス・テクノロジーズ 理由は簡単で、この @okachimachiorz1 さんのセッションが今回のデータマネジメント 2014 の中で、わたしが一番面白いと思い、かつ異彩を放っていたなぁ、と思っているからです。 ゼヒ、資料が slideshare 等にアップされてほしいなぁと思っていますが、わたしのとれた範囲内でメモを公開させていただきます。 C-5 『正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜』 ノーチラス・テクノロジーズ 自己紹介 DM というよりも業務系で Hadoop を使う OSS を中心に Asakusa を開発したりしてい

                                          データマネジメント 2014 で異彩を放っていた @okachimachiorz1 さんの「正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜」のメモ - #garagekidztweetz
                                        • 毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management

                                          毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management

                                            毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
                                          • サイバーエージェントにおけるデータの品質管理について #cwt2016

                                            Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)

                                              サイバーエージェントにおけるデータの品質管理について #cwt2016
                                            • DynamoDBを使ったKPI保存システム | GREE Engineering

                                              こんにちは!データエンジニアリングチームの長谷川と田畠です。 グリーのデータ分析基盤を良くする仕事をしています。 これはGREE Advent Calendar 2015の6日目の記事です。昨日のRobinさんの記事はVR開発に取り組んだことがあるからこそ書ける記事で、みなさんにとっても新鮮だったのではないでしょうか? 今日はゲームから少し離れて、KPIダッシュボードのバックエンドをオンプレミスからAWSに移行した話をしたいと思います。最後までお付き合いよろしくお願いします。 はじめに KPI分析を定常的に行うことは、プロダクトの改善のために非常に重要であり、グリーにおいても多くのプロダクトがKPIを閲覧/分析するためのシステムを利用しています。 社内の分析環境では、KPIのデータは時系列データベースに保存されており、内製のグラフ描画ツールにアクセスすることでグラフとして閲覧することができ

                                                DynamoDBを使ったKPI保存システム | GREE Engineering
                                              • Announcing PartiQL: One query language for all your data | Amazon Web Services

                                                AWS Open Source Blog Announcing PartiQL: One query language for all your data Data is being gathered and created at rates unprecedented in history. Much of this data is intended to drive business outcomes but, according to the Harvard Business Review, “…on average, less than half of an organization’s structured data is actively used in making decisions…” The root of the problem is that data is typ

                                                  Announcing PartiQL: One query language for all your data | Amazon Web Services
                                                • LINEの大規模なData PlatformにData Lineageを導入した話

                                                  LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか

                                                    LINEの大規模なData PlatformにData Lineageを導入した話
                                                  • データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools

                                                    整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で

                                                      データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
                                                    • 書籍紹介:大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ

                                                      最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理(データマネージメント)という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望(新しいデータの提供、仕様の変更)の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータ

                                                        書籍紹介:大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ
                                                      • 安心して使えるデータ基盤を作る

                                                        From Cloud-Native Java and Quarkus 3 with Love @ DevoxxUK 2023 London

                                                          安心して使えるデータ基盤を作る
                                                        • 「今機械学習に必要なのはデータマネジメント」5つの秘訣を実例つきで紹介 | AI専門ニュースメディア AINOW

                                                          最終更新日: 2020年8月6日 データを活用する多くの企業の価値が向上しています。世界的な企業は、ユーザのデータを巻き込み広告などのビジネスを展開し、現在、多くのビジネスはデータを資本に展開されているといっても過言ではないでしょう。 一方、データの活用の環境が整っている会社ばかりではありません。電子化されていないデータ、管理者がバラバラなデータ、企業によってデータに関する多くの課題があることでしょう。データの課題は、そのままAIの活用を大きく遅らせる足かせにもなってしまいます。 この記事では、重要性が高まる「データマネジメント」について解説します。 バズワード化するAIとデータマネジメントの必要性の高まり 2010年代に入り、今までのシステム以上の精度で画像認識することが可能になり、ディープラーニングなど機械学習への注目が高まりました。 AIの導入に少しでも興味を持った方は、AIの中でも

                                                            「今機械学習に必要なのはデータマネジメント」5つの秘訣を実例つきで紹介 | AI専門ニュースメディア AINOW
                                                          • 今、まさに広まりつつある国際的なデジタルアーカイブの規格、IIIFのご紹介 - digitalnagasakiのブログ

                                                            ※IIIFの情報を求めてこちらに来られた方は、「IIIF日本語情報私的まとめ」もご覧ください 現在、デジタルアーカイブにおいて画像を公開し共有するための国際的な枠組みが作られ、採用が広まりつつあります。International Image Interoperability Framework、略してIIIF(トリプルアイエフ)というもので、英国図書館、フランス国立図書館、オックスフォード大学ボドリアン図書館、スタンフォード大学、プリンストン大学、イェール大学など、錚々たる機関が始めた規格で、国立国会図書館のカレントアウェアネスポータルでも何度か簡単に紹介されているようです。 これまで、デジタルアーカイブに関する大きな難点の一つであった、「各地のデジタルアーカイブで個別に公開されて、いちいちそれぞれのサイトの使い方を覚えなければならず、使い勝手も善し悪しが大きく異なる」という状況が、III

                                                              今、まさに広まりつつある国際的なデジタルアーカイブの規格、IIIFのご紹介 - digitalnagasakiのブログ
                                                            • データ分析プロジェクトの品質をキープしつつ効率的な検証をサポートする一時ファイル群の管理 - クックパッド開発者ブログ

                                                              研究開発部の takahi_i です。本稿はデータ分析、 機械学習関係のプロジェクトで数多く生成される一時オブジェクトおよびそれらのオブジェクトを保持するファイル(一時ファイル)を管理する取り組みについて解説します。 本稿の前半はデータを分析するプロジェクトの一般的なフローと起こりがちな問題(コードの品質管理)について解説します。後半はプログラム上で生成されるオブジェクト群をファイルに自動でキャッシュを管理するツール(Hideout)を使って、コードを整理整頓しやすくする施策について紹介します。 データを分析するプロジェクトの一般的なフロー まずデータを処理するプロジェクトや機械学習プロジェクトの典型的なフローについて考えてみます。まずは単純に機械学習器を取得した入力に対して適用するプロジェクト、次にもう少し複雑な事例、アプリケーションで利用するデータを生成するプロジェクトのフローについて

                                                              • ckan - The open source data portal software

                                                                CKAN is an open-source DMS (data management system) for powering data hubs and data portals. CKAN makes it easy to publish, share and use data. It powers hundreds of data portals worldwide. CKAN for Government CKAN is used by national and regional government organisations throughout the European Union, the Americas, Asia and Oceania to power a variety of official and community data portals. CKAN f

                                                                  ckan - The open source data portal software
                                                                • MonotaRO Tech Talk #9 (データマネジメント編)を開催しました - MonotaRO Tech Blog

                                                                  こんにちは、データ基盤グループの吉田(id:syou6162)です。10/28(木)に開催したMonotaRO Tech Talk #9 (データマネジメント編)のレポートをお届けします。イベント前の参加希望者が514人、イベント当日も310人がご参加くださり、大変盛り上がったイベントとなりました。 MonotaROのデータ活用と基盤の過去、現在、未来(香川和哉) 社内のデータ活用を一段階あげるための取り組み(吉本直人) データ基盤グループを支えるチームビルディング(吉田康久) 最後に MonotaROのデータ活用と基盤の過去、現在、未来(香川和哉) 最初の発表ではグループ長の香川より、MonotaROのデータ活用の変遷とそれを支えるデータ基盤のこれまでの歴史、現在取り組んでいる課題、今後の取り組みについて発表しました。10年以上の歴史があり、全社員の約6割を越えるデータ基盤の歴史について

                                                                    MonotaRO Tech Talk #9 (データマネジメント編)を開催しました - MonotaRO Tech Blog
                                                                  • How Netflix Scales its API with GraphQL Federation (Part 2)

                                                                    In our previous post and QConPlus talk, we discussed GraphQL Federation as a solution for distributing our GraphQL schema and implementation. In this post, we shift our attention to what is needed to run a federated GraphQL platform successfully — from our journey implementing it to lessons learned. Our Journey so FarOver the past year, we’ve implemented the core infrastructure pieces necessary fo

                                                                      How Netflix Scales its API with GraphQL Federation (Part 2)
                                                                    • データマネジメントプラットフォーム(DMP)構築の落とし穴 構築時に注意したい4つのチェックポイント

                                                                      『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

                                                                        データマネジメントプラットフォーム(DMP)構築の落とし穴 構築時に注意したい4つのチェックポイント
                                                                      • 新マスタデータ管理システムakashicの開発 - KAYAC engineers' blog

                                                                        こんにちは、各位忘年してますか。弊社では新年会は1年に1回しか出来ないが、忘年会は1年に何度も出来るという説が出回っています。僕も8月頃に1度忘年してますが、まだまだやっていきましょう。ソーシャルゲーム事業部ゲーム技研の谷脇です。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの18日目の記事です。17日目はPush 通知送信エージェント Gunfish に FCM v1 API 対応を追加したでした。 この記事で話すこと モバイルゲームのマスタデータの管理ツールを今年作り直したよ やりたいことが複雑だからいい感じに設計したよ CLIでも動くしサーバレスでも動くよ この記事がakashicの概要が書かれたドキュメントじゃ!(社内向けの業務連絡) マスタデータの管理とは そういえば先日、マスタデータNight #1というイベントを開催

                                                                          新マスタデータ管理システムakashicの開発 - KAYAC engineers' blog
                                                                        • 情報アーキテクチャ 第4版

                                                                          本書は情報を取り巻く環境を分析し、情報を「使いやすく」「見つけやすく」「理解しやすく」する「情報アーキテクチャ」の解説書です。情報アーキテクチャの課題や定義からスタートし、「組織化、ラベリング、ナビゲーション、検索システム、シソーラス・制限語彙・メタデータ」といった情報アーキテクチャを構成する要素、そして情報アーキテクチャのさらなる理解と実装の取り組みへと進むことで実践的に学ぶことができます。第4版となる本書では、新たにWebを広範なデジタル領域につながる「情報の入り口」として位置づけました。情報構造を読み解くデジタルリテラシーの教科書として、デジタル領域と日々向き合うすべての方に向けた1冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が

                                                                            情報アーキテクチャ 第4版
                                                                          • Dat.Foundation - A Community-Driven Web Protocol

                                                                            This website is deprecated. Please check out the new version at https://dat-ecosystem.org

                                                                            • Data Science Version Control System

                                                                              (Not Just) Data Version ControlOpen-source, Git-based data science. Apply version control to machine learning development, make your repo the backbone of your project, and instill best practices across your team. Connect storage to repoKeep large data and model files alongside code and share via your cloud storage. Configure steps as you goDeclare dependencies and outputs at each step to build rep

                                                                                Data Science Version Control System
                                                                              • レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例|Mercari Analytics Blog

                                                                                Analytics Infra チームの@hizaです。 この記事ではメルカリの分析環境を改善した事例を紹介します。 今回は「運用に課題があってリプレースしたいが、業務への影響が大きすぎてリプレースできない」そんな板挟みな状況を解決した事例です。 また、その紹介を通じてメルカリのData Architectがどんな仕事をしているのかその一部を感じてもらえる記事をめざしました。 メルカリのデータ活用の現状 メルカリには様々な職種でデータを活用する文化があります。 AnalystやML Engineerの他にも、PdMやCustomer Supportなども業務にデータを活用しています。結果として社内のBigQueryユーザー数は月間800名を超えるほどになりました。 こういった環境ではデータが良く整備されている事が事業の成果に大きく影響しえます。例えば、使いやすいDWHがあれば多数の社員の業

                                                                                  レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例|Mercari Analytics Blog
                                                                                • GitHub - eugeneyan/applied-ml: 📚 Papers & tech blogs by companies sharing their work on data science & machine learning in production.

                                                                                  Curated papers, articles, and blogs on data science & machine learning in production. ⚙️ Figuring out how to implement your ML project? Learn how other organizations did it: How the problem is framed 🔎(e.g., personalization as recsys vs. search vs. sequences) What machine learning techniques worked ✅ (and sometimes, what didn't ❌) Why it works, the science behind it with research, literature, and

                                                                                    GitHub - eugeneyan/applied-ml: 📚 Papers & tech blogs by companies sharing their work on data science & machine learning in production.