並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 477件

新着順 人気順

mlopsの検索結果1 - 40 件 / 477件

  • MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ - 肉球でキーボード

    Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド

      MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ - 肉球でキーボード
    • タスクとパラメータの一元管理で実現するMLOps - enechain Tech Blog

      はじめに 背景 タスクランナーを導入するモチベーション パラメータ管理ツールを導入するモチベーション 実現したいこと モデルや環境に依存しないタスクによるパイプラインの操作 共通部分と環境特有部分を分離したパラメータ定義 パラメータ定義の構造化 実装方法 利用するツール パラメータファイル 構造化パラメータのマージ処理の実装 おわりに はじめに enechain データサイエンスデスク エンジニアの藤村です。 enechainでは市場活性化を目的として、機械学習や最適化アルゴリズムを用いて電力や燃料などの商品に関する指標を算出し、社内外に提供しています。本稿では、これらを算出するモデルの構築・運用を効率化するために作成した、タスクランナーinvokeとパラメータ管理ツールhydraを一体化したシステムを紹介します。 背景 タスクランナーを導入するモチベーション 機械学習モデルの構築・運用に

        タスクとパラメータの一元管理で実現するMLOps - enechain Tech Blog
      • MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code

        データの品質はMLモデルの信頼性に関わる重要な指標ですが、サイエンティストと運用者の連携は容易ではなく、MLOpsをスケールアウトする上で運用面のボトルネックとなりやすいポイントです。このセッションでは、信頼性の高いMLモデル運用を効果的に実現する、LINEヤフーのData Quality as Codeの仕組みを紹介します。

          MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
        • GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ - 肉球でキーボード

          Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用

            GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ - 肉球でキーボード
          • https://www.uber.com/en-DE/blog/scaling-ai-ml-infrastructure-at-uber/

            • データ品質をコード化! LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介

              第7回Data-Centric AIの登壇資料です。 発表者: 古川新 発表内容: エンタープライズのMLOps成長戦略において、開発効率が成熟してくるとモデルの運用の信頼性が課題になってきます。LINEヤフーのAIプラットフォームでは、データ品質管理を適切に管理することで運用の信頼性を向上するACP Data Qualityというマネージドサービスを提供しています。このセッションでは、一貫性のあるデータ品質管理を実現するための中核的機能の1つであるDQML(データ品質モデル言語)によるデータ品質のコード化の取り組みについて紹介します。

                データ品質をコード化! LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介
              • ワークフローオーケストレーション入門

                「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/

                  ワークフローオーケストレーション入門
                • GGUF, the long way around

                  Feb 28 2024 Table of Contents How We Use LLM ArtifactsWhat is a machine learning modelStarting with a simple modelWriting the model codeInstantiating the model objectSerializing our objectsWhat is a fileHow does PyTorch write objects to files?How Pickle worksFrom pickle to safetensorsHow safetensors worksCheckpoint filesGGMLFinally, GGUFConclusionHow We Use LLM ArtifactsLarge language models today

                    GGUF, the long way around
                  • GOのデータ・AIを活用する「組織」を30分で紹介

                    GO TechTalk #25 で発表した資料です。 ■ YouTube https://www.youtube.com/live/lH0z49oHRWI?feature=shared&t=98 ■ connpass https://jtx.connpass.com/event/306325/

                      GOのデータ・AIを活用する「組織」を30分で紹介
                    • Unity Learnチュートリアル「ML-Agents:ハチドリ」で強化学習を始めよう|①Flowerクラスの実装

                      ML-Agents:ハチドリ Unityには、強化学習を構築するためのフレームワークであるML-Agentsがあります。また、Unityの公式なチュートリアル&コースウェアを提供するUnity Learnにおいて、このML-Agentsのチュートリアルを提供する「ML-Agents:ハチドリ」があります。 「ML-Agents:ハチドリ」は、Humming bird (ハチドリ)が蜜を吸うゲームの中で、ハチドリが効率的に蜜を吸うことをゴールとして、強化学習を用いてハチドリをトレーニングするための学習コンテンツです。 この記事は、私が「ML-Agents:ハチドリ」を学習した際に、重要だと考えた事項を備忘用にメモするためのものです。 プロジェクト:①Flower.cs 本プロジェクトでは、個々の花の機能のスクリプトを作成します。ハチドリはこの花と直接やりとりをするので、適切な反応をする必要が

                        Unity Learnチュートリアル「ML-Agents:ハチドリ」で強化学習を始めよう|①Flowerクラスの実装
                      • Generative AIのビジネス動向を把握する20のレポート集|k1ito

                        このNOTEの使い方◯ビジネス観点でGenerative AIの考え方を養うため ◯ファクト集・投資動向・インプリケーション ✗生成AIとは・技術解説・技術動向など 注:サマリーはすべて生成AIで要約し翻訳したものです。 とりあえずこれを読め

                          Generative AIのビジネス動向を把握する20のレポート集|k1ito
                        • CI/CD for Machine Learning in 2024: Best Practices & Tips | Qwak

                          CI/CD for Machine Learning in 2024: Best Practices to Build, Train, and Deploy Explore best practices for CI/CD in Machine Learning in 2024. Learn to build, train, and deploy ML models efficiently with expert strategies. Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Le

                          • MLOps roadmap 2024

                            The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap

                              MLOps roadmap 2024
                            • データ品質をコード化!AIプラットフォームのデータ品質管理システム

                              こんにちは。AIプラットフォーム部でMLOpsエンジニアやプロダクトオーナーを担当している古川新です。 この記事では、AIプラットフォームで提供しているデータ品質管理システム「ACP Data Quality」と、その中核機能であるデータ品質モデル言語「DQML」によるデータ品質管理の取り組みについてご紹介します。 データ品質管理システム「ACP Data Quality」 AIプラットフォームでは、「ACP Data Quality」というデータ品質管理システムを提供しています。「ACP」と呼ばれるAIに特化したKubernetes環境で提供されており、利用者はWeb UIまたはKubernetesカスタムリソースを通じて、データ品質管理プロセスを実行できます。 データ品質管理とは データ品質とは、「データが目的にどのくらい適しているかの度合い」のことです。 国際標準の規格では、以下のよ

                                データ品質をコード化!AIプラットフォームのデータ品質管理システム
                              • GKEでMLバッチ運用のコツ - エムスリーテックブログ

                                この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約4年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの

                                  GKEでMLバッチ運用のコツ - エムスリーテックブログ
                                • サイバーエージェントの生成AI開発を支える機械学習基盤 | CyberAgent Developers Blog

                                  この記事は CyberAgent Developers Advent Calendar 2023 12日目の記事です。 はじめに CIU (CyberAgent group Infrastructure Unit) の西北(@nishi_network)です。 普段はプライベートクラウド (Cycloud) や機械学習基盤の運用、それに伴う開発業務に従事しています。 今回は、サイバーエージェントの生成AI開発を支える裏側にフォーカスを当て、機械学習基盤の設計や運用、また最新のNVIDIA H100 機械学習基盤構築プロジェクトの裏側について紹介していきます。 サイバーエージェントの機械学習基盤 サイバーエージェントでは、社内向けにAI用途向け機械学習基盤をパブリッククラウド環境だけではなくオンプレミス環境でも運用しています。これらは全社組織であるCIUが運用しており、データセンターの運用か

                                    サイバーエージェントの生成AI開発を支える機械学習基盤 | CyberAgent Developers Blog
                                  • MLOpsの意義:機械学習プロジェクトを成功させるための鍵 - Qiita

                                    はじめに MLOpsエンジニアとして、MLOpsの意義を他人に説明する機会が定期的にあるので、まとめてみました。 このブログでは、MLOps(Machine Learning Operations)という概念を紹介し、機械学習プロジェクトの成功に向けてどのように活用し得るかを記載します。 MLOpsが登場した背景 機械学習(ML)は今日、ビジネスにおいて重要な役割を果たしています。 しかし、機械学習プロジェクトというのは「データサイエンティストが自身のラップトップでモデルを開発すれば終わり」ではありません。そのモデルがシステム・プロダクトに組み込まれ、価値を発揮し続けるためには、様々な工程を繰り返し経る必要があります。(参考: ITコンサル企業のAIチームでMLOpsをすることの面白みと今後の展望) そこで発生する課題に対応するためには、従来のソフトウェア開発手法とは異なる、新たなアプロー

                                      MLOpsの意義:機械学習プロジェクトを成功させるための鍵 - Qiita
                                    • 車両情報のリアルタイム特徴量基盤の構築

                                      GO TechTalk #24 タクシーアプリ『GO』のAIサービスを支えるMLOpsを体感しよう!で発表した資料です。 ■ YouTube https://www.youtube.com/live/r_oYsac9Hvo?si=6fajvCDKzA-zQe3m&t=1514 ■ connpass https://jtx.connpass.com/event/301271/

                                        車両情報のリアルタイム特徴量基盤の構築
                                      • AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ

                                        エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本(yokomotod)です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 (さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん(@yuki_shiro_823)から「mabl Experience'23で「複数チームでmablを活用する際の課題と対応」について話しました 」も公開されています!) どうやらエムスリーAIチームも2017年の発足からもう6年が経過しているようです。 私がチームに参加したのは2019年ごろですが、見てき

                                          AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ
                                        • Feature Storeについて考える:(中小企業にとっての)意義は何なのか?

                                          はじめに 皆さんの組織では、Feature Storeを使っているでしょうか。 AIや機械学習をしていると、MLOPsとセットでFeature Storeについて様々なメリットを謳う記事を見るのですが、データサイエンティストをしている知人に聞いても、実はあまり使っていない・導入を考えたけど止めたという人が多いように思います。(私の周りだけかもしれませんが) よく、Feature Storeのメリットとして「特徴量を共有できる」ということが挙げられるのですが、大企業でデータサイエンティストが多数いる環境であればまだしも、中小企業やベンチャー企業にとっては、データサイエンティストの数が限られている(または1人しかいない)ので、そこまでそのメリットが見えないことが、導入につながっていない要因かもしれません。 しかし、実際に試してみると、それ以上のメリットがあるのではと思えてきました。 そこで、改

                                            Feature Storeについて考える:(中小企業にとっての)意義は何なのか?
                                          • 機械学習ソフトウェアにおけるテスト手法

                                            2023/11/29(水)の第36回MLOps勉強会に登壇した際の資料です。

                                              機械学習ソフトウェアにおけるテスト手法
                                            • ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側

                                              登壇者の自己紹介とアジェンダの紹介 sugasuga氏:こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、(スライドを示して)こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ

                                                ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
                                              • ウォンテッドリーにおける推薦システムのオフライン評価の仕組み

                                                第35回 MLOps 勉強会:https://mlops.connpass.com/event/297976/ ウォンテッドリーでは、多様なユーザーと会社の理想的なマッチングを実現するために、会社訪問アプリ「Wantedly Visit」の推薦システム開発に力を入れています。今回の発表では、推薦チームが取り組んだオフライン評価の仕組み化について紹介します。この仕組みの導入により、推薦施策のリリース頻度や1回あたりの成果量が改善し、より早くユーザーに価値を提供できるようになりました。

                                                  ウォンテッドリーにおける推薦システムのオフライン評価の仕組み
                                                • AIは作ってからが本番 改良支援のスタートアップ続々 - 日本経済新聞

                                                  人工知能(AI)システムは作って終わりではない。作ってからが本番で、その核となる機械学習(ML)のデータを絶えず新しいデータで更新しつつ、アルゴリズム(計算手法)も見直し、精度を高め続ける必要がある。このような機械学習モデルを運用しながら改良する手法は「MLOps(エムエルオプス)」と呼ばれ、その取り組みを支援するスタートアップも続々と生まれている。そうした新興企業をCBインサイツが分野別にまとめた。

                                                    AIは作ってからが本番 改良支援のスタートアップ続々 - 日本経済新聞
                                                  • DynalystのML監視の取り組み事例 | CyberAgent Developers Blog

                                                    ML監視は従来のソフトウェア開発の監視要素に加え、モデルや予測値、データに関する監視が必要とされています。 監視の優先順位 上述のようにML監視項目は数多くあり、いきなり全ての監視項目を導入するのは難しいです。 クラウドベンダー各社のMLOpsの成熟度モデル [3]のように、ML監視も段階的に取り組んでいくことが望ましいと言えます。 A Comprehensive Guide on How to Monitor Your Models in Productionの記事ではGoogleのMLOps成熟度モデルに合わせた監視項目を取り上げています。 引用: A Comprehensive Guide on How to Monitor Your Models in Production [4] EVIDENTLY AIが公開してるMonitoring ML systems in product

                                                      DynalystのML監視の取り組み事例 | CyberAgent Developers Blog
                                                    • LangSmith で始める LLMOps - Gaudiy Tech Blog

                                                      こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 弊社では今 LLM をプロダクトに活用しているのですが、実際にユーザに提供するクオリティのものを作る・運用しようとすると様々な課題が立ちはだかってきました。 そんな数々の課題を解くために LangSmith というツールが活躍してくれた、また今後の活用・発展にもかなり期待ができるため、本記事ではそんな LangSmith について解説していきます。 LLM を使ったプロダクト開発において課題を感じている方々の参考になれば幸いです。 出てきた課題 まず LangSmith 自体の解説に入る前に、我々が直面した・ほぼ間違いなく今後するであろう課題たちをサラッとご紹介しようと思います。 大まかには次のような課題がありました。 プロンプトがアプリケーションコード内に書か

                                                        LangSmith で始める LLMOps - Gaudiy Tech Blog
                                                      • Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリース

                                                        Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリースW&B Fully Connected 2023カンファレンスとAI Expo2023秋にて配布予定 Weights & Biases Japan株式会社(以下、W&B Japan)は本日、大規模言語モデル(LLM)の開発手法にフォーカスするホワイトペーパーの第2弾となる「LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス」を公開しました。LLM導入を検討している企業向けに、自社の保持するリソースやビジネスモデルに合わせたLLM開発手法を選択するための実践的ガイドとなっており、第1弾の「LLMをゼロからトレーニングするためのベストプラクティス」を補完する形で、既存のLLMモデルを拡張する形で自社用途に適応する手法について解説しています。本ホワイトペーパーの印刷済み冊子

                                                          Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリース
                                                        • Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG

                                                          はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における

                                                            Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
                                                          • コミュニティプラットフォームの投稿レコメンド機能を支える機械学習基盤 - Commune Engineer Blog

                                                            こんにちは,コミューンで一人目の機械学習(ML)エンジニアとして働いている柏木(@asteriam_fp)です. 入社して5ヶ月ほど経ちましたが,今回漸く最近の取り組みを紹介できそうです.ML エンジニアは僕一人なので,専らの相談相手は ChatGPT 君の今日この頃です笑 はじめに コミューンでは,企業とユーザーが融け合うコミュニティサクセスプラットフォームである commmune を提供しています.今回のブログは先日のプレスリリースでも発表された投稿レコメンド機能を commmune に導入したので,その機能を裏側で支えている機械学習基盤に関する内容を紹介します. エンドユーザーに対して提供される機械学習システムを導入するのは初めての試みになり,まさにゼロからの出発なので,これから徐々に大きく育てて行く予定です! はじめに コミュニティプラットフォームにおける機械学習の可能性 投稿レコ

                                                              コミュニティプラットフォームの投稿レコメンド機能を支える機械学習基盤 - Commune Engineer Blog
                                                            • BigQuery Studio を発表 - データから AI へのワークフローを加速するコラボレーション指向の分析ワークスペース | Google Cloud 公式ブログ

                                                              BigQuery Studio を発表 - データから AI へのワークフローを加速するコラボレーション指向の分析ワークスペース ※この投稿は米国時間 2023 年 8 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。 最近の調査によると、データと AI を効果的に活用している組織は、競合他社よりも収益性が高く、さまざまなビジネス指標においてパフォーマンスが向上していることが報告されています。過去 2 年間にデータと分析への投資を増やした組織は 81% にも上ります。しかし、多くの組織が依然としてデータのビジネス価値を最大限に引き出すことに苦慮しており、40% 以上の組織が、分析ツールやデータソースが異なることや、データ品質が低いことを最大の課題として挙げています。 統合された、インテリジェントでオープンな Google Cloud は、セキュアなデータおよ

                                                                BigQuery Studio を発表 - データから AI へのワークフローを加速するコラボレーション指向の分析ワークスペース | Google Cloud 公式ブログ
                                                              • LLM開発のためにMLOpsチームがやるべきこと | フューチャー技術ブログ

                                                                はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。 今回は「LLM開発のためにMLOpsチームがやるべきこと」というテーマで、従来のMLOpsとの違い・ツール・構成例等について調査・整理しました。 LLMとはLarge Launguage Model(大規模言語モデル)の略であり、ここでのLLM開発とは、「LLM自体の開発」および「LLMを活用したシステム開発」の両方を含むものとします。LLM開発のフローについては以前にLLM開発のフローで詳細を説明しているので、ぜひ併せてご覧ください。 まず、MLOpsとは「機械学習モデルの実装から運用までを円滑に推進するための手法や考え方」のことです。AIの社会実装が増えるに伴い、MLOpsチームを設ける企業も増えてきました。また、最近ではLLMやその関連技術が急速に発達してきており、今後LLMを用いたアプリケーション

                                                                  LLM開発のためにMLOpsチームがやるべきこと | フューチャー技術ブログ
                                                                • LLM開発のフロー | フューチャー技術ブログ

                                                                  はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。 今回は、昨今注目されている大規模言語モデル(LLM)の開発においてMLOpsチームがやるべきことを考えるため、まずはLLM開発の流れを調査・整理しました。 本記事はその内容を「LLM開発のフロー」という題目でまとめたものです。LLMを本番運用するときに考慮すべきこと、LLM開発・運用を支援するサービスやツール・LLMシステムの構成例などについては、「LLM開発でMLOpsチームがやるべきこと」と題して別記事でご紹介していますので、ぜひ併せてご覧ください。 ここでのLLM開発とは、「LLM自体の開発」および「LLMを活用したシステム開発」の両方を含みます。また、「LLM自体の開発」は学習フェーズ、「LLMを活用したシステム開発」は推論フェーズ、として記載しています。 本記事ではLLM開発における各フェーズの

                                                                    LLM開発のフロー | フューチャー技術ブログ
                                                                  • FMOps/LLMOps:生成系 AI の運用と MLOps との違い | Amazon Web Services

                                                                    Amazon Web Services ブログ FMOps/LLMOps:生成系 AI の運用と MLOps との違い 最近、多くのお客様は大規模言語モデル (Large Language Model: LLM) に高い期待を示しており、生成系 AI がビジネスをどのように変革できるか考えています。しかし、そのようなソリューションやモデルをビジネスの日常業務に持ち込むことは簡単な作業ではありません。この投稿では、MLOps の原則を利用して生成系 AI アプリケーションを運用化する方法について説明します。これにより、基盤モデル運用 (FMOps) の基盤が築かれます。さらに、Text to Text のアプリケーションや LLM 運用 (LLMOps) について深掘りします。LLMOps は FMOps のサブセットです。以下の図は、議論するトピックを示しています。 具体的には、MLOps

                                                                      FMOps/LLMOps:生成系 AI の運用と MLOps との違い | Amazon Web Services
                                                                    • Amazon SageMaker StudioでMLOpsを始めました - inSmartBank

                                                                      こんにちは!スマートバンクでSREをしている @maaaato です。 今回はスマートバンクが提供するB/43の裏側にAmazon SageMaker Studio(以下SageMaker Studio)の利用を開始したのでSageMaker Studioにまつわる話をしたいと思います。 筆者はこれまでにMLOpsの運用は行った経験がなく初めての試みでした。同じくSageMakerの構築・運用も初めてだったためいくつか悩んだポイントがありました。 特にSageMakerにはいろんな機能がありどれを使うのがベストなのか迷ったり、MLOpsを設計するにあたり、AWS Step Functions(以下Step Functions)を採用している事例などもあることからAmazon SageMaker Studio Pipelinesとどちらがベストなのか?Step Functionsとの違いはな

                                                                        Amazon SageMaker StudioでMLOpsを始めました - inSmartBank
                                                                      • dotData、機械学習の開発運用プラットフォーム「dotData Ops」を発表

                                                                          dotData、機械学習の開発運用プラットフォーム「dotData Ops」を発表
                                                                        • インフラだけではないMLOpsの話

                                                                          MLOpsの前提となる「ML」がプロダクトの成長に貢献している状態を実現するために、AWSが実施している ML Enablement Workshop の内容や提供の経緯をお話しした資料です。 ML Enablement Workshop は GitHub で公開しています。 https://github.com/aws-samples/aws-ml-enablement-workshop MLOps 勉強会での発表資料です https://mlops.connpass.com/event/290277/

                                                                            インフラだけではないMLOpsの話
                                                                          • ML Pipeline Architecture Design Patterns (With Examples)

                                                                            Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data

                                                                              ML Pipeline Architecture Design Patterns (With Examples)
                                                                            • MLOpsはじめました - ANDPAD Tech Blog

                                                                              アンドパッドのデータ部でデータ基盤や機械学習基盤の開発・運用をしている須貝です。冷やし中華が美味しい季節になりましたね。 先日、アンドパッドで初めて機械学習をプロダクトに組み込むことができました。プレスリリース も出すことができましたので、この記事ではこちらについて紹介します。 豆図AIキャプチャーとは 工事の際に、証拠資料としての工事写真を残す際に、工事状況を明記した黒板というものを使っています。この黒板の中に挿入する、補足情報となる図を豆図と呼びます。下図は黒板と豆図のサンプルです。 黒板と豆図 今回の開発した背景 配筋検査において、検査箇所の黒板に配筋リストの豆図を記載する必要があります。従来では設計図から豆図に該当する箇所を1つずつ手作業で保存していました。マンションやオフィスビルなど大型建築物の施工においてはとても手間がかかるため、 ANDPAD 黒板 の機能として、設計図から該

                                                                                MLOpsはじめました - ANDPAD Tech Blog
                                                                              • CADDiの機械学習モデル開発の流れと継続的な改善 - CADDi Tech Blog

                                                                                みなさんはじめまして。CADDiで図面解析チームのテックリードをしている稲葉です。今日は、我々のチームがどういった図面解析の機械学習モデルをどのように開発しているのか、それをどのように改善しようとしているかを紹介したいと思います。 目次 どういう図面解析が必要なのか CADDiの機械学習モデル開発の流れ 継続的な機械学習モデルの改善に向けて おわりに どういう図面解析が必要なのか CADDiでは図面活用SaaSであるCADDi DRAWERを提供しています(DRAWERの詳細に関してはこちら)。図面はどういうものが作りたいかを示した設計図なわけですが、PNG画像やPDFなど2次元図面画像で保管されており、構造化されていないデータである事が多いです。作りたいものが何を素材としているか、どのように加工すべきかなどが画像になっているため、人の目では分かってもコンピュータ上では管理し易い状態になっ

                                                                                  CADDiの機械学習モデル開発の流れと継続的な改善 - CADDi Tech Blog
                                                                                • 実験を高速化する機械学習パイプライン開発の挑戦 - ABEJA Tech Blog

                                                                                  はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…?と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも

                                                                                    実験を高速化する機械学習パイプライン開発の挑戦 - ABEJA Tech Blog