Apache Ozoneをやっていた一年 - Preferred Networks Research & Development
Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks におけるHadoop – Preferred Networks Research で解説した基本的な要件は今でも変わっていませんが[2]、現在メインのシステムとして運用している Hadoop (HDFS) にはいくつかのシステム運用上の課題があります。たとえば、一番大きなHadoopクラスタは現時点で物理的に10PB近くのディスク容量を持っていますが、Ubuntu 16.04で動作しています。OSのバージョンアップを伴うクラスタのIn-placeなアップグレー
「今機械学習に必要なのはデータマネジメント」5つの秘訣を実例つきで紹介 | AI専門ニュースメディア AINOW
最終更新日： 2020年8月6日 データを活用する多くの企業の価値が向上しています。世界的な企業は、ユーザのデータを巻き込み広告などのビジネスを展開し、現在、多くのビジネスはデータを資本に展開されているといっても過言ではないでしょう。 一方、データの活用の環境が整っている会社ばかりではありません。電子化されていないデータ、管理者がバラバラなデータ、企業によってデータに関する多くの課題があることでしょう。データの課題は、そのままAIの活用を大きく遅らせる足かせにもなってしまいます。 この記事では、重要性が高まる「データマネジメント」について解説します。 バズワード化するAIとデータマネジメントの必要性の高まり 2010年代に入り、今までのシステム以上の精度で画像認識することが可能になり、ディープラーニングなど機械学習への注目が高まりました。 AIの導入に少しでも興味を持った方は、AIの中でも
いち早く在宅勤務のデータ分析に踏み出した関西の電子機器トップメーカー【アンケート分析】
機械学習とSHAPを用いたデータビジュアライズテレワークを続けたい人はどのような人か？の探索テレワークの効率が良かった人はどのような人か？の探索 機械学習とSHAPを用いたデータビジュアライズ今回はSHAPという機械学習の結果を説明するアルゴリズムを用いてアンケートの分析を行います。SHAPのsummary_plot関数は、どの説明変数が目的変数に対してどのように寄与したのかをビジュアライズしてくれます。 まずはこのビジュアライズ結果の読み方から説明します。以下の画像はSHAPの公式がサンプルとして公開しているボストンの住宅価格予測問題のsummary_plotの結果です。 SHAPのsummary_plotの読み方としては次の通りです。 縦軸：上から順に、目的変数に対する寄与の大きさ横軸：左側は目的変数に対して負の寄与、右側は正の寄与色：青は小さな値、赤は大きな値これらを組み合わせること
Twitter の広告エンゲージメント分析プラットフォームをモダナイズ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 3 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Twitter の広告プラットフォームでは、日常業務の一環として数十億もの広告エンゲージメント イベントが日々発生しています。そしてこれらのイベントのひとつひとつが、ダウンストリームの数百もの集約指標に影響を及ぼす可能性があります。広告主がユーザー エンゲージメントを測定し、広告キャンペーンを効率よく追跡できるように、Twitter はさまざまな分析ツール、API、ダッシュボードを提供しています。これらは 1 秒あたりに数百万もの指標をほぼリアルタイムで集約することが可能です。 本投稿では、Steve Niemitz がリードを務めるTwitter の収益データプラットフォームエンジニアチームが、Twitter の広告分析プラットフォームの収益正確性と信頼性を向上させる
DMM.comプラットフォーム基盤の裏側 ユーザーの回遊・リテンションを支える仕組み
2019年5月23日、DMM.comとZOZOテクノロジーズによる合同勉強会「DMM x ZOZOを支える基盤技術」が開催されました。数多くのサービスを展開している2つの巨大プラットフォームは、どのようなインフラ基盤・運用によって支えられているのか？ 2社で活躍するエンジニアたちが、その舞台裏を明かします。プレゼンテーション「DMMを支えるプラットフォーム基盤の裏側」に登壇したのは、DMM.comプラットフォーム事業本部の石垣雅人氏。講演資料はこちら DMMを支えるプラットフォーム基盤の裏側 石垣雅人 氏（以下、石垣）：DMM.comには、様々な領域で40以上のサービスがあります。そのため、それぞれのサービス開発に注目がいきがちですが、その裏側を支えているプラットフォーム基盤について説明させていただきます。 石垣と申します。2015年にDMMに入社しまして、今回紹介するプラットフォーム
開発現場に“データ文化”を浸透させる「データ基盤」大解剖
「ゼクシィ縁結び・恋結び」の開発現場において、筆者が実際に行ったことを題材として、「データ基盤」の構築事例を紹介する連載。最終回は、「データ活用文化を、どのように組織に装着するか」についてお伝えします。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Day: Digital 2021 にて Analytics/ML/Datahub について3セッション登壇しました
Agile Analytics & Operational Intelligence for COVID-19
自由と統制のバランス 分析基盤のアプローチ