ML Pipeline Architecture Design Patterns (With Examples)
Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data
Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data
機械学習プロジェクトの約80%が失敗するのは伊達ではないと実感したが、現実に負けないワークショップに挑戦する｜piqcy
機械学習プロジェクトの約80%が失敗するのは伊達ではないと実感したが、現実に負けないワークショップに挑戦する ML Enablement Workshop は、プロダクト開発チームが課題解決に機械学習を使えるようになるためのワークショップです。本記事では、本格的にワークショップを提供し3カ月で得られた知見と、4/20・4/21 に開催された AWS Summit で発表した(※)改善版のポイントについて紹介します。 タイトルの通り初版から改善版に至るにいろいろな実感困難がありました。本記事でその内容に触れますが、機械学習プロジェクトに関わったことがある方なら「あるある」「そうそう」とうなずいていただける点も多いと思います。そうした困難について、改善版ではどう打ち手を取ったのか知って頂くことで、議論や発想のきっかけにしていただければ幸いです。 ML Enablement Workshop は
データ品質をコード化！ LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介
第7回Data-Centric AIの登壇資料です。 発表者： 古川新 発表内容： エンタープライズのMLOps成長戦略において、開発効率が成熟してくるとモデルの運用の信頼性が課題になってきます。LINEヤフーのAIプラットフォームでは、データ品質管理を適切に管理することで運用の信頼性を向上するACP Data Qualityというマネージドサービスを提供しています。このセッションでは、一貫性のあるデータ品質管理を実現するための中核的機能の1つであるDQML（データ品質モデル言語）によるデータ品質のコード化の取り組みについて紹介します。
アンドパッドのデータ部でデータ基盤や機械学習基盤の開発・運用をしている須貝です。冷やし中華が美味しい季節になりましたね。 先日、アンドパッドで初めて機械学習をプロダクトに組み込むことができました。プレスリリース も出すことができましたので、この記事ではこちらについて紹介します。 豆図AIキャプチャーとは 工事の際に、証拠資料としての工事写真を残す際に、工事状況を明記した黒板というものを使っています。この黒板の中に挿入する、補足情報となる図を豆図と呼びます。下図は黒板と豆図のサンプルです。 黒板と豆図 今回の開発した背景 配筋検査において、検査箇所の黒板に配筋リストの豆図を記載する必要があります。従来では設計図から豆図に該当する箇所を1つずつ手作業で保存していました。マンションやオフィスビルなど大型建築物の施工においてはとても手間がかかるため、 ANDPAD 黒板 の機能として、設計図から該
CIU Tech Meetup #1 (https://cyberagent.connpass.com/event/283317/) で発表した資料です。
はじめに 皆さんの組織では、Feature Storeを使っているでしょうか。 AIや機械学習をしていると、MLOPsとセットでFeature Storeについて様々なメリットを謳う記事を見るのですが、データサイエンティストをしている知人に聞いても、実はあまり使っていない・導入を考えたけど止めたという人が多いように思います。（私の周りだけかもしれませんが） よく、Feature Storeのメリットとして「特徴量を共有できる」ということが挙げられるのですが、大企業でデータサイエンティストが多数いる環境であればまだしも、中小企業やベンチャー企業にとっては、データサイエンティストの数が限られている（または1人しかいない）ので、そこまでそのメリットが見えないことが、導入につながっていない要因かもしれません。 しかし、実際に試してみると、それ以上のメリットがあるのではと思えてきました。 そこで、改
MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ - 肉球でキーボード
Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド
みなさんはじめまして。CADDiで図面解析チームのテックリードをしている稲葉です。今日は、我々のチームがどういった図面解析の機械学習モデルをどのように開発しているのか、それをどのように改善しようとしているかを紹介したいと思います。 目次 どういう図面解析が必要なのか CADDiの機械学習モデル開発の流れ 継続的な機械学習モデルの改善に向けて おわりに どういう図面解析が必要なのか CADDiでは図面活用SaaSであるCADDi DRAWERを提供しています（DRAWERの詳細に関してはこちら）。図面はどういうものが作りたいかを示した設計図なわけですが、PNG画像やPDFなど2次元図面画像で保管されており、構造化されていないデータである事が多いです。作りたいものが何を素材としているか、どのように加工すべきかなどが画像になっているため、人の目では分かってもコンピュータ上では管理し易い状態になっ
▼ 更新情報 ・Azure Machine Learning 新機能サポート ・Managed Feature Store ・Registry etc... ・パイプラインジョブのデバッグ ・環境分離と計算リソース共有 ・LLMOps ▼ Prompt flowの動画 https://www.youtube.com/watch?v=DaIYrlMOj7I ▼こちらのMLOps資料のv1.2版となります。 https://speakerdeck.com/shisyu_gaku/step-by-step-mlops-and-microsoft-products 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。
MLOps roadmap 2024
The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap
こんにちは！スマートバンクでSREをしている @maaaato です。 今回はスマートバンクが提供するB/43の裏側にAmazon SageMaker Studio（以下SageMaker Studio）の利用を開始したのでSageMaker Studioにまつわる話をしたいと思います。 筆者はこれまでにMLOpsの運用は行った経験がなく初めての試みでした。同じくSageMakerの構築・運用も初めてだったためいくつか悩んだポイントがありました。 特にSageMakerにはいろんな機能がありどれを使うのがベストなのか迷ったり、MLOpsを設計するにあたり、AWS Step Functions（以下Step Functions）を採用している事例などもあることからAmazon SageMaker Studio Pipelinesとどちらがベストなのか？Step Functionsとの違いはな
各種ネットワークのサービスや映像配信など、携帯電話回線だけでなく多様な事業に取り組むNTTドコモ。同社はさまざまな事業の中で生まれる、膨大な顧客データを預かっている。そして、それらのデータを活用し、ユーザーに新たな価値を提供する取り組みに力を入れている。データから価値を生み出すには、AI（人工知能）など新たな技術も活用する。深層学習などを使って多数の精度の高い予測モデルを作り、それらを適宜改善しながら運用にする。これ実現するために、NTTドコモではMLOpsの仕組みが必要だった。 従来は社内の企画やマーケティング担当などから依頼を受け、データを扱えるエンジニアがデータを分析し、得られる知見をそれぞれが活用できるようにしてきた。これからは「データ活用は当たり前で、ビジネスユーザーもデータ活用が容易にできるように取り組んでいます」と言うのは、NTTドコモ スマートライフカンパニー データプラッ
はじめに MLOpsエンジニアとして、MLOpsの意義を他人に説明する機会が定期的にあるので、まとめてみました。 このブログでは、MLOps（Machine Learning Operations）という概念を紹介し、機械学習プロジェクトの成功に向けてどのように活用し得るかを記載します。 MLOpsが登場した背景 機械学習（ML）は今日、ビジネスにおいて重要な役割を果たしています。 しかし、機械学習プロジェクトというのは「データサイエンティストが自身のラップトップでモデルを開発すれば終わり」ではありません。そのモデルがシステム・プロダクトに組み込まれ、価値を発揮し続けるためには、様々な工程を繰り返し経る必要があります。（参考: ITコンサル企業のAIチームでMLOpsをすることの面白みと今後の展望） そこで発生する課題に対応するためには、従来のソフトウェア開発手法とは異なる、新たなアプロー
MLOps.community
The MLOps Community fills the swiftly growing need to share real-world Machine Learning Operations best practices from engineers in the field. While MLOps sh...
GitHub - nsakki55/aws-mlops-handson: This repository provides a comprehensive ML infrastructure for CTR prediction, focusing on AWS services and offering practical learning experience for MLOps.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon SageMakerを使用したリアルタイム推論モデルのエンドポイントにおけるMLOps デプロイメントのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon SageMakerを使用したリアルタイム推論モデルのエンドポイントにおけるMLOps デプロイメントのベストプラクティス 構築、トレーニング、評価を完了した機械学習（ML）モデルが、提案されたビジネス上の課題を解決していることを確認した後、ビジネスオペレーションにおいて意思決定を可能にするために、そのモデルをデプロイすることが望まれます。ビジネスに重要な機能を持つモデルは、モデルリリース戦略が導入される本番環境にデプロイされます。MLモデルの特性上、データが常に変化するため、デプロイされたモデルが新しいデータに対しても依然として適切であり、そうでない場合はモデルが更新されることを確認する必要があります。これには、リスクとダウンタイムを最小限に抑えるデプロイ戦略を選択することも含まれます。この最適なデプロイ戦略は、モデルの高可用性
GGUF, the long way around
Feb 28 2024 Table of Contents How We Use LLM ArtifactsWhat is a machine learning modelStarting with a simple modelWriting the model codeInstantiating the model objectSerializing our objectsWhat is a fileHow does PyTorch write objects to files?How Pickle worksFrom pickle to safetensorsHow safetensors worksCheckpoint filesGGMLFinally, GGUFConclusionHow We Use LLM ArtifactsLarge language models today
GitHub - tensorchord/Awesome-LLMOps: An awesome & curated list of best LLMOps tools for developers
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
いま、多くの企業が機械学習（ML：Machine Learning）の導入、活用を進めています。ただ、機械学習を継続的に運用し成果を生み続けるのは容易ではありません。概念実証（PoC）は成功したもののシステム化できない場合や、何らかの形でシステムを構築したものの、効果が出ない、あるいは次第に効果が薄れてきたと悩んでいる企業も多いはずです。そこで注目されているのが、「MLOps（Machine Learning Operations）という考え方です。本稿では「MLOps」が必要な背景や活用のメリット、実際のサービス、市場環境、展望を含め、アクセンチュアのAIコンサルタントが解説します。
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
データの品質はMLモデルの信頼性に関わる重要な指標ですが、サイエンティストと運用者の連携は容易ではなく、MLOpsをスケールアウトする上で運用面のボトルネックとなりやすいポイントです。このセッションでは、信頼性の高いMLモデル運用を効果的に実現する、LINEヤフーのData Quality as Codeの仕組みを紹介します。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MLOpsはじめました - ANDPAD Tech Blog
Evolving ML Platform with OSS Upstream Community
Feature Storeについて考える：（中小企業にとっての）意義は何なのか？
https://www.uber.com/en-DE/blog/scaling-ai-ml-infrastructure-at-uber/
CADDiの機械学習モデル開発の流れと継続的な改善 - CADDi Tech Blog
Step-by-step MLOps v1.2
Amazon SageMaker StudioでMLOpsを始めました - inSmartBank
ロイヤルカスタマーの解像度を上げる～約100のAIモデルをMLOpsで自動運用するNTTドコモ
MLOpsの意義：機械学習プロジェクトを成功させるための鍵 - Qiita
dotData、機械学習の開発運用プラットフォーム「dotData Ops」を発表
MLOpsとは何か？ AWSやAzure、GCPなどを使った「機械学習の開発・運用」サービス比較