同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度MLOps研修基礎編: https://speakerdeck.com/nsakki55/mlops-basic (3/4) CyberAgent AI事業本部2024年度MLOps研修応用編: https://speakerdeck.com/tyaba/mlops-handson (4/4) CyberAgent AI事業本部2024年度MLOps研修実践編: https://speakerdeck.com/hosimesi11/mlops-practice
CyberAgent AI事業本部新卒研修「MLOps」の資料を公開します | CyberAgent Developers Blog
はじめに 近年、様々な分野で機械学習の利用が進む中、モデルの品質を担保し、継続的な学習を行うための施策が重要視されています。そのため、機械学習のためのDevOpsであるMLOpsの必要性が高まっており、AI事業本部でも研修内容に取り入れています。 より良いMLOpsを構築するためには、アプリケーションやインフラの知識も必要です。そのため、今年は昨年までと異なり、MLエンジニアだけでなくソフトウェアエンジニアも講義に参加しました。また、新たに実践編が加わり、より業務を意識した講義が追加されました。 Container編 基礎編 応用編 実践編 そこで、今回は研修で行われた各講義の資料を公開したいと思います。 Container編 Container編では、コンテナにまつわる技術に対しインデックスを張ることと、イメージ作成や運用時のTipsを学び実業務に役立てることを目的としています。 そのた
サイバーエージェントは23年にもMLOpsに関する研修資料を公開していたが、この際に公開したのはMLOpsの応用編に関する資料のみだった。「より良いMLOpsを構築するには、アプリケーションやインフラの知識も必要。そのため、24年は、MLエンジニアだけでなくソフトウェアエンジニアも講義に参加し、新たに実践編が加わえて、より業務を意識した講義が追加した」（同社） 関連記事 サイバーエージェント、AI開発手法「MLOps」の研修資料を無償公開 全140ページ サイバーエージェントは、新入社員の研修で使ったという資料を無償公開した。内容は、AIや機械学習アルゴリズムの開発手法「MLOps」に関するもので、全140ページ。 サイバーエージェント、新卒エンジニアの研修資料を2つ無料公開 「システム運用」と「オブザーバビリティ」を解説 サイバーエージェントは、同社の新入社員研修で使った資料「システム運
はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。 今回は「LLM開発のためにMLOpsチームがやるべきこと」というテーマで、従来のMLOpsとの違い・ツール・構成例等について調査・整理しました。 LLMとはLarge Launguage Model（大規模言語モデル）の略であり、ここでのLLM開発とは、「LLM自体の開発」および「LLMを活用したシステム開発」の両方を含むものとします。LLM開発のフローについては以前にLLM開発のフローで詳細を説明しているので、ぜひ併せてご覧ください。 まず、MLOpsとは「機械学習モデルの実装から運用までを円滑に推進するための手法や考え方」のことです。AIの社会実装が増えるに伴い、MLOpsチームを設ける企業も増えてきました。また、最近ではLLMやその関連技術が急速に発達してきており、今後LLMを用いたアプリケーション
AI事業本部MLOps研修公開！MLOps研修で学ぶ最新の機械学習ワークフローとは？ | CyberAgent Developers Blog
AI事業本部MLOps研修とは はじめまして、AI Labでリサーチエンジニアをしている岩崎（@chck）と、AI事業本部 Dynalystでデータサイエンティストをしている長江（@nsakki55）と干飯（@hosimesi）です。 今回は、AI事業本部研修で行われた講義のMLOps回の資料を公開します。 🔳 AI事業本部の事業を担う一員として、「AI事業本部で必要なドメイン知識を身につける・関係を構築する（縦・横・ななめまで）」が研修の目標 サイバーエージェントでは、入社後3週間ほどのエンジニア全体研修を行った後、各事業部に配属されます。AI事業本部では、事業部配属直後に2週間ほどエンジニア研修を行います。この研修では、全社研修とは異なり、AI事業本部に特化したアドテクや機械学習に関連する内容が取り扱われています。 ▼事業部研修全体スケジュール AI事業本部の研修は、以下の3つのパー
Vertex AIを活用したMLOps基盤の作成 | CyberAgent Developers Blog
みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、機械学習エンジニアとしてインターンシップ「CA Tech JOB」に参加させていただいた、高橋駿一と申します。本記事では、インターンシップで行った、MLOps基盤の開発についてご紹介します。 極予測TDとは 極予測TDとは、レスポンシブ検索広告（RSA）を自動生成する「広告テキスト自動生成AI」と、広告配信効果を事前に予測する「効果予測AI」を掛け合わせることで、効果的なRSAを制作するプロダクトです。 本インターンシップでは、効果予測AIのMLOpsに取り組みました。 背景 チームに参加した際、以下のような状況にありました。 複数の予測モデルが運用されているうち、一部、MLパイプラインが未実装のものがあった 上記モデルはリリース当初からモデルが更新されていなかったが、時間が経過したことでデ
Amazon Web Services ブログ FMOps/LLMOps：生成系 AI の運用と MLOps との違い 最近、多くのお客様は大規模言語モデル (Large Language Model: LLM) に高い期待を示しており、生成系 AI がビジネスをどのように変革できるか考えています。しかし、そのようなソリューションやモデルをビジネスの日常業務に持ち込むことは簡単な作業ではありません。この投稿では、MLOps の原則を利用して生成系 AI アプリケーションを運用化する方法について説明します。これにより、基盤モデル運用 (FMOps) の基盤が築かれます。さらに、Text to Text のアプリケーションや LLM 運用 (LLMOps) について深掘りします。LLMOps は FMOps のサブセットです。以下の図は、議論するトピックを示しています。 具体的には、MLOps
MLOpsの前提となる「ML」がプロダクトの成長に貢献している状態を実現するために、AWSが実施している ML Enablement Workshop の内容や提供の経緯をお話しした資料です。 ML Enablement Workshop は GitHub で公開しています。 https://github.com/aws-samples/aws-ml-enablement-workshop MLOps 勉強会での発表資料です https://mlops.connpass.com/event/290277/
CyberAgent AI事業本部2024年度MLOps研修Container編 / Container for MLOps
同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度MLOps研修基礎編: https://speakerdeck.com/nsakki55/mlops-basic (3/4) CyberAgent AI事業本部2024年度MLOps研修応用編: https://speakerdeck.com/tyaba/mlops-handson (4/4) CyberAgent AI事業本部2024年度MLOps研修実践編: https://speakerdeck.com/hosimesi11/mlops-practice
はじめに 背景 タスクランナーを導入するモチベーション パラメータ管理ツールを導入するモチベーション 実現したいこと モデルや環境に依存しないタスクによるパイプラインの操作 共通部分と環境特有部分を分離したパラメータ定義 パラメータ定義の構造化 実装方法 利用するツール パラメータファイル 構造化パラメータのマージ処理の実装 おわりに はじめに enechain データサイエンスデスク エンジニアの藤村です。 enechainでは市場活性化を目的として、機械学習や最適化アルゴリズムを用いて電力や燃料などの商品に関する指標を算出し、社内外に提供しています。本稿では、これらを算出するモデルの構築・運用を効率化するために作成した、タスクランナーinvokeとパラメータ管理ツールhydraを一体化したシステムを紹介します。 背景 タスクランナーを導入するモチベーション 機械学習モデルの構築・運用に
エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本（yokomotod）です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 （さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん（@yuki_shiro_823）から「mabl Experience'23で「複数チームでmablを活用する際の課題と対応」について話しました 」も公開されています！） どうやらエムスリーAIチームも2017年の発足からもう6年が経過しているようです。 私がチームに参加したのは2019年ごろですが、見てき
SaaS型Webサービス｢カオナビ｣のチーム開発でPackage by Featureを取り入れた話/Implementing Package by Feature in kaonavi
GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ - 肉球でキーボード
Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用
こんにちは。機械学習チームでソフトウェアエンジニアをしているTomoakiです。 バクラクはMLOpsエンジニアを必要としており、今回はバクラクでMLOpsをやる面白さや現状抱えている課題について紹介します。 バクラクとは bakuraku.jp バクラクは経費精算、稟議申請、法人カード、請求書処理など企業の支出関連業務をAIのサポートで簡易化、効率化するサービス群です。これにより企業は経理業務の労力を大幅に削減することが可能となります。 2021年1月に初のプロダクト「バクラク請求書受取」をリリース。その後は「バクラク申請」「バクラク経費精算」「バクラク請求書発行」「バクラクビジネスカード」「バクラク電子帳簿保存」と半年に1つのペースで新規プロダクトをリリース。現在は6つのプロダクトを提供し、それぞれが企業の経理業務を支援しています。2024年2月にはお陰様で導入社数が10,000社を突
MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ - 肉球でキーボード
Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド
データ品質をコード化！ LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介
第7回Data-Centric AIの登壇資料です。 発表者： 古川新 発表内容： エンタープライズのMLOps成長戦略において、開発効率が成熟してくるとモデルの運用の信頼性が課題になってきます。LINEヤフーのAIプラットフォームでは、データ品質管理を適切に管理することで運用の信頼性を向上するACP Data Qualityというマネージドサービスを提供しています。このセッションでは、一貫性のあるデータ品質管理を実現するための中核的機能の1つであるDQML（データ品質モデル言語）によるデータ品質のコード化の取り組みについて紹介します。
アンドパッドのデータ部でデータ基盤や機械学習基盤の開発・運用をしている須貝です。冷やし中華が美味しい季節になりましたね。 先日、アンドパッドで初めて機械学習をプロダクトに組み込むことができました。プレスリリース も出すことができましたので、この記事ではこちらについて紹介します。 豆図AIキャプチャーとは 工事の際に、証拠資料としての工事写真を残す際に、工事状況を明記した黒板というものを使っています。この黒板の中に挿入する、補足情報となる図を豆図と呼びます。下図は黒板と豆図のサンプルです。 黒板と豆図 今回の開発した背景 配筋検査において、検査箇所の黒板に配筋リストの豆図を記載する必要があります。従来では設計図から豆図に該当する箇所を1つずつ手作業で保存していました。マンションやオフィスビルなど大型建築物の施工においてはとても手間がかかるため、 ANDPAD 黒板 の機能として、設計図から該
▼ 更新情報 ・Azure Machine Learning 新機能サポート ・Managed Feature Store ・Registry etc... ・パイプラインジョブのデバッグ ・環境分離と計算リソース共有 ・LLMOps ▼ Prompt flowの動画 https://www.youtube.com/watch?v=DaIYrlMOj7I ▼こちらのMLOps資料のv1.2版となります。 https://speakerdeck.com/shisyu_gaku/step-by-step-mlops-and-microsoft-products 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。
MLOps roadmap 2024
The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap
こんにちは！スマートバンクでSREをしている @maaaato です。 今回はスマートバンクが提供するB/43の裏側にAmazon SageMaker Studio（以下SageMaker Studio）の利用を開始したのでSageMaker Studioにまつわる話をしたいと思います。 筆者はこれまでにMLOpsの運用は行った経験がなく初めての試みでした。同じくSageMakerの構築・運用も初めてだったためいくつか悩んだポイントがありました。 特にSageMakerにはいろんな機能がありどれを使うのがベストなのか迷ったり、MLOpsを設計するにあたり、AWS Step Functions（以下Step Functions）を採用している事例などもあることからAmazon SageMaker Studio Pipelinesとどちらがベストなのか？Step Functionsとの違いはな
はじめに MLOpsエンジニアとして、MLOpsの意義を他人に説明する機会が定期的にあるので、まとめてみました。 このブログでは、MLOps（Machine Learning Operations）という概念を紹介し、機械学習プロジェクトの成功に向けてどのように活用し得るかを記載します。 MLOpsが登場した背景 機械学習（ML）は今日、ビジネスにおいて重要な役割を果たしています。 しかし、機械学習プロジェクトというのは「データサイエンティストが自身のラップトップでモデルを開発すれば終わり」ではありません。そのモデルがシステム・プロダクトに組み込まれ、価値を発揮し続けるためには、様々な工程を繰り返し経る必要があります。（参考: ITコンサル企業のAIチームでMLOpsをすることの面白みと今後の展望） そこで発生する課題に対応するためには、従来のソフトウェア開発手法とは異なる、新たなアプロー
This article explores AIOps, MLOps, and LLMOps, including their distinct roles, challenges, and impacts in the evolving, data-driven operations landscape.
MLOps.community
The MLOps Community fills the swiftly growing need to share real-world Machine Learning Operations best practices from engineers in the field. While MLOps sh...
A layered approach to MLOps
This article was co-authored by Chris Hughes & Bernat Puig Camps At present, MLOps — Machine Learning Operations — is a popular topic, with numerous books, blog posts, conference talks, and more focusing on how to build a scalable, repeatable, and production-ready Machine Learning workflow. Despite this interest, MLOps remains an emerging area, and there seem to be many different ideas on the “bes
パブリックプレビュー版のSnowpark ML Model Registryで、SnowflakeでのMLOpsのポイントを確認してみた | DevelopersIO
パブリックプレビュー版のSnowpark ML Model Registryで、SnowflakeでのMLOpsのポイントを確認してみた Snowpark MLのパイプラインごとModel Registryに登録することで、Snowflakeのテーブルのデータをそのまま利用しやすく、運用も格段に簡単になっています。 データアナリティクス事業本部 機械学習チームの鈴木です。 先日、Snowpark MLのModel Registryのパブリックプレビューが開始になりました。 この公開までの間、Snowpark MLでもいくつかの重要なアップデートがあり、それらが合わさってSnowflakeでのモデルのデプロイや管理がかなり使いやすくなったように思ったので、改めて触ってみました。 個人的には、 前処理も含めたパイプラインを管理することで、Snowflakeの特徴量用のマートテーブルを機械学習モ
Google Cloud、Vertex AI における Gemini、Imagen、Gemma、MLOps のアップデートを発表 | Google Cloud 公式ブログ
Google Cloud、Vertex AI における Gemini、Imagen、Gemma、MLOps のアップデートを発表 ※この投稿は、2024 年 4 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。 Vertex AI は、あらゆるハイパースケール プロバイダのさまざまな基盤モデル、堅牢なインフラストラクチャ オプション、モデル開発と MLOps のための豊富なツール セットへのアクセスを提供するほか、生成 AI アプリやエージェントの構築だけでなく、デプロイとメンテナンスもできるワンストップ プラットフォームです。本日 Google Cloud Next ‘24 で、モデルに関するアップデートやプラットフォーム機能など、Vertex AI のさらなる強化を発表しました。 Gemini 1.5 Pro を Vertex AI のパブリック プレビ
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
データの品質はMLモデルの信頼性に関わる重要な指標ですが、サイエンティストと運用者の連携は容易ではなく、MLOpsをスケールアウトする上で運用面のボトルネックとなりやすいポイントです。このセッションでは、信頼性の高いMLモデル運用を効果的に実現する、LINEヤフーのData Quality as Codeの仕組みを紹介します。
いま、多くの企業が機械学習（ML：Machine Learning）の導入、活用を進めています。ただ、機械学習を継続的に運用し成果を生み続けるのは容易ではありません。概念実証（PoC）は成功したもののシステム化できない場合や、何らかの形でシステムを構築したものの、効果が出ない、あるいは次第に効果が薄れてきたと悩んでいる企業も多いはずです。そこで注目されているのが、「MLOps（Machine Learning Operations）という考え方です。本稿では「MLOps」が必要な背景や活用のメリット、実際のサービス、市場環境、展望を含め、アクセンチュアのAIコンサルタントが解説します。
How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps | Amazon Web Services
AWS Machine Learning Blog How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores,
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CyberAgent AI事業本部2024年度MLOps研修基礎編 / MLOps Basic
AI開発・運用手法「MLOps」の資料、サイバーエージェントが無料公開 全500ページ超えの大ボリューム
LLM開発のためにMLOpsチームがやるべきこと | フューチャー技術ブログ
FMOps/LLMOps：生成系 AI の運用と MLOps との違い | Amazon Web Services
インフラだけではないMLOpsの話
タスクとパラメータの一元管理で実現するMLOps - enechain Tech Blog
AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ
現場課題に向き合い MLOps成熟度を高める道
バクラクはMLOpsエンジニアを必要としています - LayerX エンジニアブログ
MLOpsはじめました - ANDPAD Tech Blog
Step-by-step MLOps v1.2
Amazon SageMaker StudioでMLOpsを始めました - inSmartBank
MLOpsの意義：機械学習プロジェクトを成功させるための鍵 - Qiita
AIOps vs. MLOps vs. LLMOps
MLOpsとは何か？ AWSやAzure、GCPなどを使った「機械学習の開発・運用」サービス比較