PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています． この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！ イベントサイト: https://ml-kubernetes.connpass.com/event/239859/Read less
Apache Ozoneをやっていた一年 - Preferred Networks Research & Development
Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks におけるHadoop – Preferred Networks Research で解説した基本的な要件は今でも変わっていませんが[2]、現在メインのシステムとして運用している Hadoop (HDFS) にはいくつかのシステム運用上の課題があります。たとえば、一番大きなHadoopクラスタは現時点で物理的に10PB近くのディスク容量を持っていますが、Ubuntu 16.04で動作しています。OSのバージョンアップを伴うクラスタのIn-placeなアップグレー
なぜ金融系プロジェクトで先進のコンテナ技術を選択したのか
なぜ金融系プロジェクトで先進のコンテナ技術を選択したのか：巨大SIerのコンテナ・Kubernetes活用事例（2）（1/2 ページ） NRIのコンテナ・Kubernetes活用事例について紹介する本連載。第2回はFinTechサービスをクラウドやコンテナで支援した事例を紹介する。 金融系サービスでも顧客体験を改善する迅速さは不可欠 「金融」と聞くと、勘定系処理や外部システムとの接続、バックオフィス業務などを思い浮かべる読者も少なくないだろう。これらのシステムでは、「求められるシステム品質が高く、ドキュメントは重厚に整備、管理され、大規模な工数が必要なプロジェクト」という点を想像するに難くない。野村総合研究所（以後、NRI）はインターネットバンキングや証券業の大規模共同利用型サービスを構築、運用しており、まさにNRIが得意とする領域でもある。 こうした大規模プロジェクトのみならず、NRIは
ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。
Theory vs. Practice: Learnings from a recent Hadoop incident
Open Source Theory vs. Practice: Learnings from a recent Hadoop incident Authored bySandhya Ramu Senior Director, Site Reliability Engineering at LinkedIn August 6, 2020 Co-authors: Sandhya Ramu and Vasanth Rajamani For companies and organizations, failure tends to be far more illuminating than success and the lingering effects of a failure can be harmful if the team moves too quickly and does not
「今機械学習に必要なのはデータマネジメント」5つの秘訣を実例つきで紹介 | AI専門ニュースメディア AINOW
最終更新日： 2020年8月6日 データを活用する多くの企業の価値が向上しています。世界的な企業は、ユーザのデータを巻き込み広告などのビジネスを展開し、現在、多くのビジネスはデータを資本に展開されているといっても過言ではないでしょう。 一方、データの活用の環境が整っている会社ばかりではありません。電子化されていないデータ、管理者がバラバラなデータ、企業によってデータに関する多くの課題があることでしょう。データの課題は、そのままAIの活用を大きく遅らせる足かせにもなってしまいます。 この記事では、重要性が高まる「データマネジメント」について解説します。 バズワード化するAIとデータマネジメントの必要性の高まり 2010年代に入り、今までのシステム以上の精度で画像認識することが可能になり、ディープラーニングなど機械学習への注目が高まりました。 AIの導入に少しでも興味を持った方は、AIの中でも
Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
いち早く在宅勤務のデータ分析に踏み出した関西の電子機器トップメーカー【アンケート分析】
機械学習とSHAPを用いたデータビジュアライズテレワークを続けたい人はどのような人か？の探索テレワークの効率が良かった人はどのような人か？の探索 機械学習とSHAPを用いたデータビジュアライズ今回はSHAPという機械学習の結果を説明するアルゴリズムを用いてアンケートの分析を行います。SHAPのsummary_plot関数は、どの説明変数が目的変数に対してどのように寄与したのかをビジュアライズしてくれます。 まずはこのビジュアライズ結果の読み方から説明します。以下の画像はSHAPの公式がサンプルとして公開しているボストンの住宅価格予測問題のsummary_plotの結果です。 SHAPのsummary_plotの読み方としては次の通りです。 縦軸：上から順に、目的変数に対する寄与の大きさ横軸：左側は目的変数に対して負の寄与、右側は正の寄与色：青は小さな値、赤は大きな値これらを組み合わせること
Cloud Composer と GKE を活用して機械学習のワークフローを構築する - GiXo Ltd.
TAG : Airflow | Cloud Composer | GCP | Kubernetes | MLOps | Refeed | tech | Tech & Science AUTHOR : ギックス POSTED : 2020.02.10 09:06 GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 GKE) クラスタ上で実行する構成を取っています。 GKE では複数の node pool を定義できるため、予め用途に応じた複数の node pool を用意しておくことで、タスクに応じた環境の割当てを容易に実現することができます。（現在は β版の提供に留まっていますが、GKE 側で利用リソースに
SlackのUXライティングの考え方｜ふじけん / kenshir0f
2020年1月に行われた Design Matters Tokyo のセッションでUXライティングについて学んだので記事にまとめます。 Slack社でUXライティングに取り組んでいるアンドリューさんのお話で、実際にUXライティングするワークショップも体験したので共有したいと思います。 Slack社のアンドリューさん UXライティングとはUXライティングとは、ソフトウェアやインターフェースを言葉で対話可能にすることを目的としたコピーです。 ユーザーの行動フローを理解し、専門用語を使わずに対話できるインターフェースを設計する職種のことを「UXライター」と呼んでいますが、まだまだ新しく誕生した職種のためいろいろと模索しているとのことです。 特にSlackでは人とのつながりの構築を意識してUXライティングに取り組んでいて、 どうやったら人と繋がれるのか。 どうやったら言葉で人と寄り添えるのか。 ど
Twitter の広告エンゲージメント分析プラットフォームをモダナイズ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 3 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Twitter の広告プラットフォームでは、日常業務の一環として数十億もの広告エンゲージメント イベントが日々発生しています。そしてこれらのイベントのひとつひとつが、ダウンストリームの数百もの集約指標に影響を及ぼす可能性があります。広告主がユーザー エンゲージメントを測定し、広告キャンペーンを効率よく追跡できるように、Twitter はさまざまな分析ツール、API、ダッシュボードを提供しています。これらは 1 秒あたりに数百万もの指標をほぼリアルタイムで集約することが可能です。 本投稿では、Steve Niemitz がリードを務めるTwitter の収益データプラットフォームエンジニアチームが、Twitter の広告分析プラットフォームの収益正確性と信頼性を向上させる
Successful & Short Kubernetes Stories For DevOps Architects
How Kubernetes works?In Kubernetes, there is a master node and multiple worker nodes, each worker node can handle multiple pods. Pods are just a bunch of containers clustered together as a working unit. You can start designing your applications using pods. Once your pods are ready, you can specify pod definitions to the master node, and how many you want to deploy. From this point, Kubernetes is i
分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study
分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study パフォーマンスに苦労している並列処理システムを改善するために Stackdriver Traceを導入して動作の可視化を行った結果、 ボトルネックの存在が判明してパフォーマンスを改善できた事例について紹介します。 この事例でStackdriver Traceを選定した過程や OpenTelemetry へコントリビュートした経緯についても共有します。 また、新規開発のGraphQLサーバへ導入して REST APIサーバと通信をまたいだ可視化を行った事例についても紹介します。
「モジュールとしてのマイクロサービス」と 「分割単位としてのドメイン」について考える
昨今のシステムは社内外のシステムと連携していて境界定義が難しいといわれます。マイクロサービスの文脈でもどのようにシステムを分割するかの議論があります。実はこれは50年来続く「部品の分割＝モジュール化」の歴史といえます。最近ではこの部品の分割単位としてドメイン駆動設計の「ドメイン」がよく話題になります。「モジュール」と「ドメイン」にどんな関係があるのでしょうか。Chatwork社でのマイクロサービス化の事例も踏まえながらマイクロサービス設計を「モジュール」と「ドメイン」の軸で語りたいと思います。
Kubernetesの自前運用は難しい？ はてなの撤退事例
はてなのMackerelチームはKubernetesクラスタを自前で構築して運用していたが、撤退を選択したという。なぜ、Kubernetesの運用を諦めて撤退を選んだのか。はてなのMackerelチームでSREを務める今井隼人氏が語った。 コンテナ型仮想化技術を活用したアプリケーションの管理（オーケストレーション）ツール「Kubernetes」が注目を集めている。その背景の一端にあるのが、アプリケーションをコンテナ化し、マネージドKubernetesサービスで実行することによるメリットの享受と、運用負荷の軽減だ。 参考記事：「Kubernetes」とは何か――コンテナ型仮想化の本番利用に向けた課題 参考記事：「Kubernetesで運用する」その前に Kubernetesを本番環境で利用する際のポイント そんな中、「Kubernetesクラスタを自前で構築して運用していたが、撤退を選択した
オンプレとクラウドのネットワークの話 | BLOG - DeNA Engineering
IT基盤部エンジニアブログリレー第4回目。 こんにちは、IT基盤部ネットワークG torigoe です。 オンプレとクラウドのネットワークをどう繋げるのか、クラウド内のネットワークをどうするのか考えた話を書きます。 多くの内部サービスを持っていて、オンプレからクラウドに移行を検討しているネットワークエンジニアの人に読んで頂ければと思います。 はじまり 2018年ある日、mtgに呼ばれて急に DeNAのインフラ全てをオンプレからパブリッククラウド(しかもマルチ)に変えようと思うがどうよ？ と言われました。正直その日まであまりパブリッククラウドサービスを触った事がありませんでしたが、説明された内容には納得できたのでそんな事は噯にも出さず同意し、次の日からオンプレ-クラウド移行の為に必要なネットワークの検討を開始する事になりました。(元々Openstackは触ってました) まずはAWSを色々と触
Democratizing data analysis with Google BigQuery
Infrastructure Democratizing data analysis with Google BigQuery Every day, over a hundred million people come to Twitter to find out what’s happening in the world and talk about it. Every Tweet and user action generates an event that we make available for internal data analysis at Twitter. Hundreds of employees analyze and visualize this data, and improving their experience is a top priority for t
DMM.comプラットフォーム基盤の裏側 ユーザーの回遊・リテンションを支える仕組み
2019年5月23日、DMM.comとZOZOテクノロジーズによる合同勉強会「DMM x ZOZOを支える基盤技術」が開催されました。数多くのサービスを展開している2つの巨大プラットフォームは、どのようなインフラ基盤・運用によって支えられているのか？ 2社で活躍するエンジニアたちが、その舞台裏を明かします。プレゼンテーション「DMMを支えるプラットフォーム基盤の裏側」に登壇したのは、DMM.comプラットフォーム事業本部の石垣雅人氏。講演資料はこちら DMMを支えるプラットフォーム基盤の裏側 石垣雅人 氏（以下、石垣）：DMM.comには、様々な領域で40以上のサービスがあります。そのため、それぞれのサービス開発に注目がいきがちですが、その裏側を支えているプラットフォーム基盤について説明させていただきます。 石垣と申します。2015年にDMMに入社しまして、今回紹介するプラットフォーム
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Day: Digital 2021 にて Analytics/ML/Datahub について3セッション登壇しました
Agile Analytics & Operational Intelligence for COVID-19