AWSではじめるMLOps
第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。Read less
第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。Read less
DVC を活用した機械学習パイプライン開発の高速化 / Using DVC to accelerate machine learning pipeline development
第8回 MLOps 勉強会 Tokyo (Online) https://mlops.connpass.com/event/211953/
Get full access to Machine Learning Design Patterns and 60K+ other titles, with a free 10-day trial of O'Reilly. There are also live events, courses curated by job role, and more.
機械学習プロジェクトのデータバージョン管理ツール『DVC』の「Get Started」のサブノート - Qiita
(上図は公式サイトのもの。) はじめに 機械学習(ML)を扱う研究ないし製品開発プロジェクトにおいては、データサイエンティストやMLエンジニアがMLモデルの試作を繰り返すことでモデルの性能を改善しようと努力します。その試行錯誤の過程で発生する問題として、データ(前処理済みデータセットやモデルなど)や精度の管理が煩雑になりがちになります。そのようなプロジェクト内のリソースを適切に管理していないと、意図せずプロジェクトのデータを改変してしまった時に、ある精度はどのようなパラメータでどのようなモデルをどのようなコードで学習した結果なのかわからなくなってしまいます。学習や評価の過程を再現できなければ、数字の客観性に乏しくなってしまいます。したがって、データのバージョンを適切に管理して、成果物のトレーサビリティを担保することが大切になります。 データのバージョン管理ツールとしてまず思い浮かぶのはGi
Python Code Examples
Search portal for python code examples
Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data
LLMOps：基盤モデルに基づくアプリケーション開発のワークフロー｜Weights & Biases Japan
Weights & Biases のnoteをフォローしてください大規模言語モデル（LLM）の可能性を引き出し、その機能を拡張してアプリケーションを開発・提供するためのワークフローは、どのようなものなのでしょうか。私たちはここ数ヶ月、様々な場所でこの課題を耳にしてきました。 これまで機械学習モデルの開発と運用を統合するMLOps（Machine Learning Operations）のワークフローの構築において最も信頼されてきたWeights & Biasesは、OpenAIやStability AIなど、生成AIの開発で最先端をいく企業に活用されてきました。 この経験をもとに、本稿ではMLOpsのベストプラクティスをレビューし、この概念がどのようにLLMOpsに適用されていくのか、現時点のベストプラクティスを示していきます。 特にLLMOpsにおいては、多くの場合社外で開発された基盤モ
MLOps に基づく AI/ML 実運用最前線 ～画像、動画データにおける MLOps 事例のご紹介～（映像情報メディア学会2021年冬季大会企画セッショ...
本番環境に移行しやすいMLエンジニアリング
概要 機械学習アルゴリズムを実装する企業研究者やデータサイエンティストが、本番環境に移行しやすい機械学習コードを書くための Tips を紹介します。 私は、最近、機械学習アルゴリズムの実装だけでなく、それを本番環境に載せる作業もするようになったので、その際に「 こうしておけば本番環境への移行が楽だったな 」と思ったことをまとめました。 「自分はエンジニアじゃないから細かいことはいいや」と思われる方にも以下のメリットがあると思います。 エンジニアへの負担が減り、早くリリースすることができ、研究者またはデータサイエンティストとしての社内での評価や信頼を獲得しやすくなる 信頼を獲得できれば、次の仕事を回してもらいやすくなる、という好循環が生まれる 自分自身の生産性や開発体験が向上するので、より早く実験サイクルを回せる 再利用性や再現性などを上げることができ、コードを公開したときに多くの人に使って
第30回 MLOps 勉強会の資料 https://mlops.connpass.com/event/276894/
The final goal of all industrial machine learning (ML) projects is to develop ML products and rapidly bring them into production. However, it is highly challenging to automate and operationalize ML products and thus many ML endeavors fail to deliver on their expectations. The paradigm of Machine Learning Operations (MLOps) addresses this issue. MLOps includes several aspects, such as best practice
Preview: Amazon Lookout for Metrics, an Anomaly Detection Service for Monitoring the Health of Your Business | Amazon Web Services
AWS News Blog Preview: Amazon Lookout for Metrics, an Anomaly Detection Service for Monitoring the Health of Your Business We are excited to announce Amazon Lookout for Metrics, a new service that uses machine learning (ML) to detect anomalies in your metrics, helping you proactively monitor the health of your business, diagnose issues, and find opportunities quickly – with no ML experience requir
Data Version Control による�実験管理の実務での適用事例 / An experiment management example by Data Version Control
■イベント ：第4回 MLOps 勉強会 https://mlops.connpass.com/event/202359/ ■登壇概要 タイトル：Data Version Control による�実験管理の実務での適用事例 発表者： DSOC R&D研究員 高橋 寛治 ▼Twitter https://twitter.com/SansanRandD
[CCSE] メルカリでのパーソナライゼーション機能の研究開発サイクル / CCSE2020-Pesonalization-Research-and-Development-Cycle
CCSE2020 12月11日（金） 13:10~ A3会場
![[CCSE] メルカリでのパーソナライゼーション機能の研究開発サイクル / CCSE2020-Pesonalization-Research-and-Development-Cycle](https://cdn-ak-scissors.b.st-hatena.com/image/square/849bf4dd346bde49b0c5c1732561d7db802bb128/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F02d32b85407142b4be0da1b8b3572779%2Fslide_0.jpg%3F16895679)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部でソフトウェアエンジニアをしている鈴木です。ヤフー全社で利用されているユーザコンテンツ判定プラットフォーム（以下UGC判定PF）のプロダクトオーナー兼テックリードをしていました。 本記事では2021年4月から実施した機械学習モデル作成の効率化の取り組みを紹介します。以前はAPIとして提供するまで6週間かかっていたものが、最終的に学習データさえあれば1日（実質数時間）で個別チューニングされたモデルが作成され、ボタンクリックでAPIとして利用可能になるところまできました。 UGC判定PFの紹介 UGC判定PFの概要 UGC判定PFはNGワードやURLなどの登録データや、事前に作成された機械学習モデルによりユ
皆さんこんにちは、ソリューションスペシャリストの井上です。今回はAI/MLの世界で重要度が増してきているMLOpsについて解説してみたいと思います。 なぜ今AIが必要か？ いままでは世界の変化が緩やかで、過去データを分析すればおおよその未来予測はできました。 ところが今は変化が早く過去のデータがあまり役に立たない状況も出てきています。最近の例では新型コロナがありますね。「データには鮮度がある」という言葉を痛感することも多いのですがもちろんそれだけではありません。例えばZaraなどのFast Fashionに代表されるFast Inventoryモデルは従来のように1年前のデータから流行や在庫数を予測するのではなく、もっと短期間で売れる服を作って売り切るモデルで、最近このようなビジネスモデルが増えてきています。 そのために必要なリアルタイムデータを短時間で分析したり、リソースがなく利用してい
This paper provides a comprehensive survey of Machine Learning Testing (ML testing) research. It covers 144 papers on testing properties (e.g., correctness, robustness, and fairness), testing components (e.g., the data, learning program, and framework), testing workflow (e.g., test generation and test evaluation), and application scenarios (e.g., autonomous driving, machine translation). The paper
最先端のアルゴリズムがgithubなどから手軽に入手できるようになったことで、ビジネスの現場では、アルゴリズムやモデルの改善より、 アノテーションデータの質や量を改善する方が実用化を目指す上でよりコストメリットのいいアプローチとなりつつあります。 本発表では、従来のモデル改善を中心としたMLOpsの考え方と異なり、データ（アノテーションデータ）改善を中心としたMLOpsの考え方をご紹介します。 Read less
機械学習のルール: | Machine Learning | Google for Developers
ML エンジニアリングのベスト プラクティス Martin Zinkevich 氏 このドキュメントは、ML の基本的な知識を持つユーザーが、Google の ML のベスト プラクティスを活用できるように支援することを目的としています。Google C++ スタイルガイドや他の実用的なプログラミング ガイドと同様に、ML のスタイルを提示します。ML のクラスを受講したことがある方、ML モデルを構築または作成した経験がある方は、このドキュメントを読むために必要な知識があります。 Martin Zinkevich 氏は、ML に関するお気に入りの 10 のルールを紹介します。以下に、43 のルールをご紹介します。 用語 効果的な ML の説明では、次の用語が繰り返し登場します。 インスタンス: 予測を行う対象。たとえば、「猫について」または「猫についてではない」として分類したいウェブペー
「Offersエージェント」では、業界で活躍するプロフェッショナルがあなたの転職を徹底サポート。CxO経験者を含む現役エンジニア・デザイナー・プロダクトマネージャーが在籍し、職種に特化した専門的なアドバイスをご提供・非公開求人の紹介も可能です。 →【かんたん30秒】無料登録で転職相談する トップクラスのエンジニア組織にいながら副業をする理由 初めまして、荒瀬 (@KosukeArase) と申します。 株式会社メルカリにて、US Engineering チーム (US版メルカリの開発チーム) の機械学習エンジニアとして働いています。メルカリはエンジニアリング組織の開発に強く力を入れており、エンジニアにとっては非常に働きやすい環境となっております。また、技術レベルも高いため、自分が成長できる環境であるとも感じています。 インターン含め2年8ヶ月働いたメルカリJPを離れ、4月からメルカリUSの
この記事は「Eureka Advent Calendar 2021」の16日目の記事です。 Hello! 世界！MLエンジニアのsugikiです。 2021年ももう終わりますね。急に寒くなってきたので急に年末感がでてきました。 うちの犬もかまくらのハウスで丸くなりなかなか出てこなくなりました。 私は、普段はユーザが接するMLサービス全般に関わる業務に従事しています。今回は、GCPでMLOpsを導入したサービス事例や苦労した点について紹介したいと思います。 全体の構成今回は、検索やレコメンドでのリランキングサービスを例に構成を紹介したいと思います。機械学習を使ったリランキングはlearning-to-rank (LTR)と呼ばれるタスクでアカデミックでも研究が盛んに行われています。 一般的には、以下のように、検索エンジンやベクトル類似度など比較的軽量な処理でcandidate generat
Amazon Web Services ブログ マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 この投稿は株式会社ブレインパッドのエンジニアである 小杉 知己 氏に、自社で取り組まれた機械学習のための CI/CD パイプライン構築についてご紹介頂き、AWS 社員と共著したものとなります。 はじめに 機械学習 (ML) のビジネスにおける活用はますます加速しています。しかし、MLプロジェクトの初期段階における概念実証 (PoC) フェーズを乗り越え、MLを本番環境において運用するには多くの課題があることが知られています。例えば、運用中のデータの質の変化に対応するためにMLモデルの再訓練を行う必要が出てきたとき、さまざまなモデルのバージョンをいかに管理するかが課題となります。また、作ったモデルの本番適用可否の判断を効率的に行うためにはライフサイクルの管理が必要となりま
Azure Machine Learning + MLflowで実験管理とモデル管理をしつつ機械学習モデル開発をする話 - Qiita
本記事は「求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020」の17日目の記事です。空いていた枠に後日投稿しました。 Azure Machine Learning という機械学習周りの広い範囲をカバーするサービスがあります。Azure Machine Learning はデータセット管理からモデルの開発、実験の管理、モデルの管理、デプロイまで、機械学習モデルの開発に必要なほぼほぼ全ての工程をこなすことができるサービスですが、本記事ではAzure Machine Learning の機能の一部、実験管理とモデル管理部分をインターネットに接続可能な任意の Python 開発環境と組み合わせる方法を検証しつつ紹介します。 ただし、Azure Machine Learning の機能を素の状態では使用しません。最も広く使
Google Cloud launches Vertex AI, unified platform for MLOps | Google Cloud Blog
Google Cloud unveils Vertex AI, one platform, every ML tool you need Today at Google I/O, we announced the general availability of Vertex AI, a managed machine learning (ML) platform that allows companies to accelerate the deployment and maintenance of artificial intelligence (AI) models. Vertex AI requires nearly 80% fewer lines of code to train a model versus competitive platforms1, enabling dat
GitHub - cvpaperchallenge/Ascender: Accelerator of Scientific Development and Research. A project template developed by XCCV group of cvpaper.challenge.
Ascender (Accelerator of SCiENtific DEvelopment and Research) is a GitHub repository template for research projects using Python as a developing language. The following features are pre-implemented to accelerate your development: Container: Use of Docker reduces development environment dependencies and improves code portability. Virtual environment / package management: Package management using Po
スライド概要 「第27回 MLOps 勉強会」で発表した内容になります。 https://mlops.connpass.com/event/270245/ 社内で利用されている全社共通レコメンドプラットフォームでのモデル開発の効率化や品質向上に関するMLOpsの取り組みの紹介
Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data
Automated Testing in Machine Learning Projects [Best Practices for MLOps]
Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data
![Automated Testing in Machine Learning Projects [Best Practices for MLOps]](https://cdn-ak-scissors.b.st-hatena.com/image/square/ea026dd0c776a3fb1c2abc7cb26ed7747125ecd2/height=288;version=1;width=512/https%3A%2F%2Fneptune.ai%2Fwp-content%2Fuploads%2F2022%2F07%2Fblog_feature_image_008809_5_4_4_3.jpg)
Working as a core maintainer for PyTorch Lightning, I've grown a strong appreciation for the value of tests in software development. As I've been spinning up a new project at work, I've been spending a fair amount of time thinking about how we should test machine learning systems. A couple weeks ago, one of my coworkers sent me a fascinating paper on the topic which inspired me to dig in, collect
最終更新日： 2021年12月13日 ※本稿は、MNTSQ株式会社による寄稿です。 今、機械学習の実用性が注目され、さまざまな分野で機械学習の活用可能性が広がっています。あわせて、ピンポイントではなく、幅広い分野で長期的で安定的に機械学習のモデルを開発・運用できるようにMLOpsへの注目が高まっています。 MLOpsでは、機械学習システムの開発や運用にまつわるさまざまな困難を解消するべく、機械学習システムの運用がしやすい開発基盤づくりが目指されています。一方で、このMLOpsには明確な定義はなく、さまざまな要求に応える技術がMLOpsの名の下に乱立している状況です。 この記事では、MLOpsの導入を検討する際に押さえておきたいポイントを5つに分けて紹介します。 ポイント① MLOpsを理解する｜その1：DevOpsとMLOps MLOpsは、DevOpsを元にした表現で、MLOpsの多くの
CCSE 2019登壇 https://ccse.jp/2019/
はじめに 株式会社 RetailAI X Advent Calendar 2022 の 8 日目の記事です。 昨日は@tanabe_shogoさんの『Node.jsを使って、BigQueryからデータを取得するWebAPIを作る』でした。 本日は ML エンジニアの@atsukishが担当します。普段は機械学習モデルの開発以外にも、機械学習モデルの安定的な開発・運用基盤である MLOps の開発も担当しております。MLOps については以下の弊社テックブログでわかりやすい解説がありますので、こちらも参照ください。 機械学習モデルを安定的に開発・運用していくためには、MLOps のような機械学習向けの運用基盤が必要となります。次の図に示すように MLOps において機械学習モデルのアルゴリズムに該当するソースコード（ML Code）はごく一部であり、必要となる周辺要素は膨大で複雑です。ML
著者: 伊藤 雅博, 株式会社日立製作所 はじめに 機械学習システムを継続的に運用するための取り組みとしてMLOps (Machine Learning Operations)が注目を集めています。MLOpsの運用サイクルの1ステップとして、機械学習を利用したいシステムに対して、機械学習モデルを用いた予測機能を提供するサービング（Serving）があります。 サービングは、データサイエンティストが作成した機械学習モデルを本番環境へ導入する際に、必ず求められる要件です。本投稿では、機械学習システムの全体像とサービングの位置づけ、およびサービングシステムの構成を紹介します。 機械学習システムの全体像 MLOpsを考慮した機械学習システムの例を以下の図に示します。 図の機械学習システムは、下記5つのサブシステムから構成されます。 1. データ整備システム データ整備システムでは、機械学習に必要な
MLOps is Not Enough The Need for an End-to-End Data Science Lifecycle Process If you've ever worked on (or with) a data science team, you know that consistently delivering value can be frustrating (to put it nicely). There are so many places where things can go wrong and projects can fail. It has almost become a cliché to talk about the high failure rates of data science projects. However, given t
Towards MLOps: Technical capabilities of a Machine Learning platform
Table of contentsIntroduction 1.1 The workflows of data science and software development are different 1.2 The ML pipeline has to include Continuous Training 1.3 Model driftFeature Store 2.1 Centralised data access 2.2 Data Versioning 2.3 Data pipelines 2.4 Data labeling 2.5 Feature repository and data discoveryTraining pipeline 3.1 Model and experiment management 3.2 Pipeline orchestration 3.3 Au
NLU Architecture and ML Model Management in Clova
2019/3/7 Machine Learning Production Pitch #1 Yuki Matoba
G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) の統合された機械学習プラットフォームである Vertex AI を解説します。 Vertex AI とは AutoMLとは Vertex AI における AutoML AutoML を使用したモデル作成 AutoML によるトレーニングの料金 カスタムトレーニング カスタムトレーニングを使用したモデル作成 カスタムトレーニングの料金 トレーニング方法の選択 モデル作成、予測に使用するツール Datasets Training Vertex AI Model Registry Endpoints Batch predictions Vertex AI に統合されたその他のツール Vertex AI Workbench Vertex AI Feature Store Vertex AI Labeling task
多角型事業組織におけるMLOps/AI基盤 ~マイクロチームでの機械学習PoC~ ShibuyaSynapse #4
はじめに はじめまして、機械学習エンジニアリングチームのsugasugaです。 今回の記事では、弊チームが管理するMLOps基盤の技術選定や構成内容を紹介させていただきます。 背景 ピクシブ株式会社はさまざまなサービスがありますが、イラスト投稿SNSであるpixivのサーバーはオンプレミスで動いています。 これまでは、GCP上でモデルの学習やバッチ推論を行い、データをオンプレミスに同期した上でレコメンドを提供していました。 しかし、最近になって新たにリアルタイムで推論する機能の必要性が生じました。 当初は、これまで通りオンプレミスでの推論基盤の構築を検討しましたが、マシンの新規調達が難しい状態でした。また、搭載されるアプリケーションの数が将来的に変動する可能性があったり、トラフィック数が予測できないという状態でした。 そのため、必要なリソースを必要なタイミングで確保できる形態の方が好ましい
Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Machine Learning Design Patterns
neptune.ai | The MLOps stack component for experiment tracking
ブレインパッドにおける機械学習プロジェクトの進め方
DynalystにおけるMLワークフローへのPrefect導入事例
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
MLOpsとBERTによる機械学習パイプラインの自動化とその効果
【AI/ML】MLOpsで実現する成果の出るAIの作り方 - 赤帽エンジニアブログ
Machine Learning Testing: Survey, Landscapes and Horizons
Data-centricなML開発
機械学習エンジニアが意識している副業でも活かせる上流工程での経験値とは | Offers Magazine
オンライン機械学習サービスとしてGCP Vertex AIのMLOpsを導入した話
マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 | Amazon Web Services
ヤフーの全社共通レコメンドプラットフォームでのMLOpsの取り組み #mlopsコミュニティ | ドクセル
MLOps Landscape in 2024: Top Tools and Platforms
Effective testing for machine learning systems.
MNTSQがMLOpsを成功させる5つのポイントを解説！ | AI専門ニュースメディア AINOW
What we need for MLOps
【MLOps】Vertex AIによるモデルモニタリングサービスの構築 - Qiita
MLOpsの概要と機械学習モデルのサービングシステム - Qiita
MLOps is Not Enough
Vertex AI を徹底解説！ - G-gen Tech Blog
マイクロチームでの機械学習PoC / ShibuyaSynapse #4,
ピクシブにおけるMLOps基盤の技術選定と構成 - pixiv inside
ML Pipeline Architecture Design Patterns (With Examples)