ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームチームに所属している黒松です。 今年の1月に公開した「MLOpsを支えるヤフー独自のモデルモニタリングサービス」の記事ではヤフーが内製したモデルモニタリングツールであるDronach（ドロナック）をご紹介しました。 本記事では、新たにDronachに追加したFeature Attributionドリフト検定機能を実例とともにご紹介します。 AIプラットフォームチームについて 私が所属しているAIプラットフォームチームは、社内のAI活用を促進するための共通プラットフォームを開発し提供することが目的のチームです。 AIプラットフォームは、Namespaceで分離されたマルチテナントKuberne
第35回 MLOps 勉強会：https://mlops.connpass.com/event/297976/ ウォンテッドリーでは、多様なユーザーと会社の理想的なマッチングを実現するために、会社訪問アプリ「Wantedly Visit」の推薦システム開発に力を入れています。今回の発表では、推薦チームが取り組んだオフライン評価の仕組み化について紹介します。この仕組みの導入により、推薦施策のリリース頻度や1回あたりの成果量が改善し、より早くユーザーに価値を提供できるようになりました。
Trends and Our Activities in Quality Management and Assurance of Machine LearningRead less
Introduction The deployment of machine learning models is the process for making your models available in production environments, where they can provide predictions to other software systems. It is only once models are deployed to production that they start adding value, making deployment a crucial step. However, there is complexity in the deployment of machine learning models. This post aims to
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
How do companies like Netflix, Airbnb, and Doordash apply machine learning to improve their products and processes? We put together a database of 300 case studies from 80+ companies that share practical ML use cases and learnings from designing ML systems. Navigation tips. You can play around with the database by filtering case studies by industry or ML use case. We added tags based on recurring t
Practitioners Guide to Machine Learning Operations (MLOps)
Practitioners Guide to Machine Learning Operations (MLOps)Gain an overview of the machine learning operations (MLOps) life cycle, processes, and capabilities. Understand concrete details about running a continuous training pipeline, deploying a model, and monitoring predictive performance of ML models. The MLOps life cycle and important processes and capabilities for successful ML-based systemsOrc
エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本（yokomotod）です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 （さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん（@yuki_shiro_823）から「mabl Experience'23で「複数チームでmablを活用する際の課題と対応」について話しました 」も公開されています！） どうやらエムスリーAIチームも2017年の発足からもう6年が経過しているようです。 私がチームに参加したのは2019年ごろですが、見てき
(2020/08/14 flavorについての記載を一部修正) はじめに こんにちは、ホクソエムサポーターの藤岡です。 最近、MLflowを分析業務で使用しているのですが、お手軽に機械学習のモデルや結果が管理できて重宝しています。 また、特定のライブラリに依存しないなど、使い方の自由度も非常に高いところが魅力的です。 ただ、ザ・分析用のPythonライブラリという感じでとにかく色々なものが隠蔽されており、 サーバにつなぐクライアントさえもプログラマあまりは意識する必要がないという徹底っぷりです。 もちろんマニュアル通りに使う分には問題ないですが、 ちゃんと中身を知っておくと自由度の高さも相まって色々と応用が効くようになり、 様々なシチュエーションで最適な使い方をすることができるようになります。 というわけで、今回はMLflowの記録部分を担う、 Experiment, Run, Artif
GitHub - mercari/ml-system-design-pattern: System design patterns for machine learning
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MLOps（機械学習の実運用化）の活動目的＆方針を「デザイン思考」で議論した座談会の内容をレポート。デザイン思考フレームワーク＆ツール「MURAL」を紹介し、MLOps実践時の悩みと対策案を議論。世の中が抱えているMLOpsの課題を解決するためにコミュニティーの方針を検討する。 連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps（機械学習の実運用化）の普及に貢献していきます。 このレポートでは、2020年9月に行われた第2回のイベント活動である「MLOpsコミュニティ座談会」の様子をお伝えします。今回はコミュニティーの方針を少人数で議論するため参加者を16人に限定し、リモートで実施
【MLOps入門】MLOps概要 - Qiita
1. はじめに 昨今、AI・機械学習関連技術が基礎研究のフェーズを抜け、製品開発のフェーズにて本番稼働システムに投入・運用されることが多くなるに連れて聞くことが多くなった「MLOps」という概念について、簡単に書きます。 本記事ではMLOpsの概要を記載し、実践的な取り組みについては別途記載します。 （追記）アップデート版として MLOpsの意義：機械学習プロジェクトを成功させるための鍵 を投稿したので、そちらも合わせてご確認ください。 2. 機械学習プロジェクトの課題 機械学習プロジェクトを遂行していくことを阻害する課題として、例えば下記があります。 学習リソースが枯渇して、迅速な実験ができない 学習環境のスピーディなスケール ex. 並列で実験を回したいが、個別所有のGPUマシンだと1並列しか回せず、共同利用のGPUマシンは混んでいて使えない。（昨日まではGPUマシンを遊ばせていたのだ
GO TechTalk #25 で発表した資料です。 ■ YouTube https://www.youtube.com/live/lH0z49oHRWI?feature=shared&t=98 ■ connpass https://jtx.connpass.com/event/306325/
以下の『MLOps勉強会』 の資料です https://m3-engineer.connpass.com/event/159721/
Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG
こんにちは、技術本部 データシステム部 MLOpsブロックの平田（@TrsNium）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex
GitHub - Arize-ai/phoenix: AI Observability & Evaluation
Phoenix provides MLOps and LLMOps insights at lightning speed with zero-config observability. Phoenix provides a notebook-first experience for monitoring your models and LLM Applications by providing: LLM Traces - Trace through the execution of your LLM Application to understand the internals of your LLM Application and to troubleshoot problems related to things like retrieval and tool execution.
【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの卜部です。AWS Japan では、AI/ML 関連情報を発信するイベント「AWS AI/ML@Tokyo」を定期的に開催しています。2020年10月15日にオンラインで開催された AWS AI/ML@Tokyo #7では、AWS ソリューションアーキテクトより、AWSにおけるMLOpsプロセス実装のベストプラクティスや ML CI/CD環境の構築についてお話ししました。また、お客様活用事例として、株式会社コナミデジタルエンタテインメント様、ヤフー株式会社様 におけるAmazon SageMakerの事例をお話しいただきました。 「AWS で構築する MLOps 基盤」
ゼロからAI組織を作る｜ばんくし
はじめにAI組織をゼロから作り、拡大していく時のことを書く。 私自身がAI組織を立ち上げるにあたって、各社のAI組織の部長クラスやCTO、VPoEに20名以上にヒアリングした結果、そして私がここ1年強でした実体験を元にしている。 全ての場合で必ずしも正しいものではないかも知れないが、今後のために言語化しておく。 重要な３つのことあなたが「AI組織作ってよ」と言われた時、そして組織開拓を進めている時に絶対に必要な事が3つある。これから起こる事全ての事象で、この前提を頭に置いておかないといけない。 AI分野外の人は分野内の事は分からない 組織やグループのミッションに沿う事が必須 コミュニケーションを避けてはいけない これは私の経験的にもそうだし、あらゆるAI組織のリーダーが組織作りで最も多く挙げている重要要素でもある。 AI組織という船の漕ぎ手はあなた大前提、AI分野（機械学習エンジニア、デー
Choose from Colab Enterprise or Vertex AI Workbench. Access every capability in Vertex AI Platform to work across the entire data science workflow—from data exploration to prototype to production.
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間5月18日、機械学習プロジェクトの構築、展開、管理を行うための、データサイエンティストや機械学習エンジニア向けのマネージドプラットフォームである「Vertex AI」の一般提供開始を発表した。この発表が行われたのは、2021年はオンラインで開催されている開発者向けカンファレンス「Google I/O」でのことだ。 Googleは機械学習関連の製品やサービスを数多く提供しており、それらの製品にはAmazon Web Services（AWS）の「SageMaker」をはじめとするプラットフォームと競合するものもあるが、同社は市場に出回っているツールには不十分なものが多いと主張している。 Google CloudのVe
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
SaaS型Webサービス｢カオナビ｣のチーム開発でPackage by Featureを取り入れた話/Implementing Package by Feature in kaonavi
▼こちらのMLOps資料のv1.1版となります。 https://speakerdeck.com/shisyu_gaku/external-20220202-kurasukai-cui-azure-machine-learningwozhong-xin-tositamsfalsemlopssoriyusiyonfalsegai-yao-toakitekutiya 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。 ▼更新情報 ・2022年5月末(主にMSBuild)にて 一般提供(GA)を開始した Azure ML v2 ベースの実装・機能紹介スライドへの変更 ・トラフィックのミラーリングなど新しい Azure M
※この投稿は米国時間 2020 年 12 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 これまでのデータ サイエンス分野での大きな問題の一つは、試験運用版段階を通過できないモデルが多数あることでした。データ サイエンス分野が成長を遂げ、成熟するにつれて、プロジェクトの開発速度と再現性を向上させる MLOps プロセスとツールが出現しました。データ サイエンス分野はまだ成長の途上ではありますが、これまで以上に多くのモデルが本番環境にまで到達するようになりました。 これは、自分のモデルが本番環境でどうスケールするかという、データ サイエンティストの次なる疑問へとつながります。本ブログ投稿では、マネージド予測サービスである Google Cloud の AI Platform Prediction を使用して、推論ワークロードのスケーリングに関する問題に対応す
はじめまして。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 本記事では、機械学習チームの取り組みの一環として機械学習等のバッチを含むバッチ実行環境を整備した話について話したいと思います。 今までのバッチ実行環境 機械学習チームではピクシブ会社全体のサービスにおけるアイテムのレコメンド等を主に取り組んでおり、そのロジックは多岐に渡ります。 matrix factorizationを用いた手法 item間共起頻度に基づくシンプルなアイテムの推薦手法 ニューラルネットを用いた手法 これらの計算を行うためのバッチは実装者の好きな手法で実装されており、バッチを行う環境に関しても下記にようにバラバラになっていました。 オンプレの機械学習用マシンに各ユーザー毎に設定したcronでバッチが実行 gitlab-ciのスケジューリングによってバッチが実行 BigQueryで完結す
人工知能（AI）システムは作って終わりではない。作ってからが本番で、その核となる機械学習（ML）のデータを絶えず新しいデータで更新しつつ、アルゴリズム（計算手法）も見直し、精度を高め続ける必要がある。このような機械学習モデルを運用しながら改良する手法は「MLOps（エムエルオプス）」と呼ばれ、その取り組みを支援するスタートアップも続々と生まれている。そうした新興企業をCBインサイツが分野別にまとめた。
スクラムガイドのスプリントレトロスペクティブを改めて読みかえしてみた / Re-reading the Sprint Retrospective Section in the Scrum Guide
医療データベースMIMICの使い方 | シェアする挑戦者
アクセス権をリクエスト まずはMIMICへのアクセス権をもらう必要があります。以下、その手続きを開設していきますが、こちらも合わせて参照してください。 CITIトレーニング MIMICへのアクセス権をリクエストする前に、CITI programの”Data or Specimens Only Research”というコースを、オンラインで修了しておく必要があります。 まず、こちらのサイトに行き、”affiliation”のところで”Massachusetts Institute of Technology Affiliates”を選びます（”independent learner”ではないのでご注意を）。 “Massachusetts Institute of Technology Affiliates course”→”Human Subjects training category”→
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームの開発と運用を担当している黒松です。 ヤフーではオンプレミスにあるKubernetesの上に全社で利用可能なAIプラットフォームを構築しています。昨年8月に公開した「ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に」ではヤフーのAIプラットフォームの全体概要をご紹介しました。ここではその続編として、ブログの最後に触れたモデルモニタリングツールであるDronachをご紹介します。 Dronachはヤフーで内製したモデルモニタリングツールです。YAMLフォーマットで特徴量のデータセットを指定するだけで定期的なデータドリフトの検知と統計情報の集計、結果を確認するダッシュボードの構築、アラ
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
23新卒技術研修で実施したAI研修の講義資料です。 ハンズオン用リポジトリ：https://github.com/nami73b/machine-learning-notebooks-2023 資料の利用について 公開している資料は勉強会や企業の研修などで自由にご利用頂いて大丈夫ですが、以下の形での利用だけご遠慮ください。 ・受講者から参加費や授業料などを集める形での利用（会場費や飲食費など勉強会運営に必要な実費を集めるのは問題ありません） ・出典を削除または改変しての利用
Become a Machine Learning expert. Productionize your machine learning knowledge and expand your production engineering capabilities.
目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後も記事執筆を継続するモチベーションに繋がりますので「いいね」や記事の保存、SNSで共有いただけると嬉しいです。宜しくお願いいたします！ 背景と目的 皆様の中には Databricks という会社に馴染みがない方も多いと思います。 米国カリフォルニア州に本社が
MLflow は MLOps に関連した OSS のひとつ。 いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。 今回は、その中でも実験の管理と可視化を司る MLflow Tracking を試してみることにした。 機械学習のプロジェクトでは試行錯誤することが多い。 その際には、パラメータやモデルの構成などを変えながら何度も実験を繰り返すことになる。 すると、回数が増えるごとに使ったパラメータや得られた結果、モデルなどの管理が煩雑になってくる。 MLflow Tracking を使うことで、その煩雑さが軽減できる可能性がある。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G5033 $ python -V Python 3.7.
会計サービスをはじめ、バックオフィス向けクラウドソフトを提供するfreee。単純作業を効率化し、ユーザーが本質的な仕事に集中できる環境を提供するために、AI技術を駆使したさまざまな取り組みがなされている。 「ユーザーにとって本質的に価値があること（同社では「マジ価値」と呼ばれる）を届けきる」をコミットメントとして掲げる同社の、AI技術を使ったアプローチ方法を連載形式でお届けする。 第3回のテーマは、機械学習の開発環境。 機械学習やディープラーニングの自社開発を続けるうえで、その開発環境について考えるべき事項は多い。データ基盤の開発に始まり、分析やモデル開発、運用までスムースにこなせることに加えて、さまざまなアプリケーションやデータベースとの接続といった部分への配慮も欠かせない。 今回はfreeeの機械学習開発・研究を支えるインフラ基盤とその仕組みを同社AIラボの田中浩之氏に紹介いただく。
Monitoring feature attributions: How Google saved one of the largest ML services in trouble | Google Cloud Blog
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
「DeNA TechCon 2021 Winter」は、学生に向けて、DeNAを軸に「エンジニアとして企業で働くこと」について、先輩たちが紹介するイベントです。そこでMLエンジニアの川瀬拓実氏が、DeNAのMLOpsについて話をしました。 DeNAの「MLOps」 川瀬拓実氏（以下、川瀬）：こんにちは。川瀬拓実と申します。本セッションでは、DeNAのMLOpsについて話をしていきたいと思います。よろしくお願いします。 まず自己紹介から入りますが、2020年卒のエンジニアで、現在はシステム本部データ統括部AI基盤部MLエンジニアリング第一グループに所属して、MLOpsを行っています。 まずMLOpsって何？というところから入っていきたいと思いますが、MLOpsはDevOpsとAIの概念が組み合わさってできた比較的新しい概念で、特にAI周りのサポートをすることに特化したものになっています。昨今
第3次AIブームと言われて久しく、すでにさまざまな企業が画像認識や音声認識、自然言語処理などを生かしたAIサービスを提供するようになった。 AIを実装する機械学習アルゴリズム、特に深層学習は、従来のルールベースなアルゴリズムより高い精度を出せる場合があるのが利点の一つだ。しかし、内部はブラックボックスになりがちで精度改善が難しい場合や、機械学習モデルに学習させるべきデータが適切に整形されていないこともある。 こうした「AI開発」前後の運用を成功に導く取り組みとして、近年「MLOps」（エムエルオプス）という開発手法に注目が集まり始めている。 特集：MLOpsキホンのキ AIベンダーやノーコード／ローコードでのAIモデル作成ツールなどが増え、以前よりはAIを導入しやすい環境になった。しかし、AI導入の“前後”はおろそかになっていないか。開発体制は迅速に回るか。モデル精度はモニタリングできてい
CI/CD for Machine Learning in 2024: Best Practices & Tips | Qwak
CI/CD for Machine Learning in 2024: Best Practices to Build, Train, and Deploy Explore best practices for CI/CD in Machine Learning in 2024. Learn to build, train, and deploy ML models efficiently with expert strategies. Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Le
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点について - Qiita
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点についてMachineLearningMLOps この記事では MLOps における Data Validation (データバリデーション: データの検証) について概要を述べます。 Data Validation はこれ単体では新しい概念ではありません。たとえば入力フォームで入力値に制約を設け、その制約を満たすデータのみを入力値として受け入れるようにするのは、サービス開発では一般的なことでしょう。入力欄において空欄を許さない、値は特定のリストからのみ選択できるといった制約を設けている例は、開発者でなくても一般的に目にしたことがあるかと思います。 このように Data Validation は一般的な概念ですが、MLOps においては非常に重要な概念となります。また、そこ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Feature Attributionを使ったモデルモニタリングの開発と実際の機械学習モデルへの適用
ウォンテッドリーにおける推薦システムのオフライン評価の仕組み
機械学習品質管理・保証の動向と取り組み
How to Deploy Machine Learning Models
Google、データサイエンティストや機械学習エンジニア向けのMLOpsサービスを発表
Evidently AI - ML system design: 300 case studies
AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ
MLflowのデータストアを覗いてみる - 株式会社ホクソエムのブログ
MLOps実践者たちのリアルなお悩みの解決にコミュニティーがどう貢献できるか
GOのデータ・AIを活用する「組織」を30分で紹介
gokartの運用と課題について
Vertex AI Workbench | Google Cloud
グーグル、マネージド機械学習プラットフォーム「Vertex AI」を一般提供
現場課題に向き合い MLOps成熟度を高める道
Step-by-Step MLOps and Microsoft Products
機械学習による予測を自動的にスケールする方法 | Google Cloud 公式ブログ
機械学習バッチ実行環境を整備した話 - pixiv inside
AIは作ってからが本番 改良支援のスタートアップ続々 - 日本経済新聞
hydra-mlflow-optuna
MLOpsを支えるヤフー独自のモデルモニタリングサービス
Kubeflow 1.0: Cloud Native ML for Everyone
AI研修【MIXI 23新卒技術研修】
Machine Learning Engineering for Production (MLOps)
「Databricks とは？何ができるか」新入社員が感じたイケてる機能１０選 - Qiita
Python: MLflow Tracking を使ってみる - CUBE SUGAR CONTAINER
開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 | Ledge.ai
AIの開発をどのようにサポートするのか？ DeNAのMLOpsエンジニアのお仕事
「いつの間にか精度が落ちて慌てて直す」──“AI運用あるある”を成功に導く「MLOps」とは