Introduction to MLOpsMLSE 夏合宿 2022 3 日目基調講演の資料です。 リンクをそれぞれのスライドのフッターにつけていますので、引用元は PDF をダウンロードすると確認できます。
機械学習システムアーキテクチャ入門 ＃2
機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference 澁井 雄介 著 AIエンジニアのための機械学習システムデザインパターン 翔泳社 2021年 https://www.shoeisha.co.jp/book/detail/9784798169453 有賀 康顕 中山 心太 西林 孝 著 仕事ではじめる機械学習 第2版 オライリー・ジャパン 2021年 https://www.shoeisha.co.jp/book/detail/9784798169453 Katrina Clokie 著 風間 裕也, 河原田 政典 訳 A Practical Guide to Testing in DevOps Japanese Edition
機械学習システムアーキテクチャ入門 #1
機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference ### 大規模なデータを扱う難しさ - Architecture Evolution in Repro https://speakerdeck.com/joker1007/architecture-evolution-in-repro - Sidekiq to Kafka ストリームベースのmicro services https://speakerdeck.com/joker1007/sidekiq-to-kafka-sutorimubesufalsemicro-services - ReproのImport/Exportを支えるサーバーレスアーキテクチャhttps://spe
Prediction Framework, a time saver for Data Science prediction projects
Prediction Framework, a time saver for Data Science prediction projects Posted by Álvaro Lamas, Héctor Parra, Jaime Martínez, Julia Hernández, Miguel Fernandes, Pablo Gil Acquiring high value customers using predicted Lifetime Value, taking specific actions on high propensity of churn users, generating and activating audiences based on machine learning processed signals…All of those marketing scen
Papers with Code - Machine Learning Datasets
The CIFAR-10 dataset (Canadian Institute for Advanced Research, 10 classes) is a subset of the Tiny Images dataset and consists of 60000 32x32 color images. The images are labelled with one of 10 mutually exclusive classes: airplane, automobile (but not truck or pickup truck), bird, cat, deer, dog, frog, horse, ship, and truck (but not pickup truck). There are 6000 images per class with 5000 train
ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。 広告配信サーバーは広告リクエストごとに ユーザーの興味関心度合い 広告効果 メディア収益性 を考慮した最適な広告を選びます。具体的には、広告主が設定した入札額と広
内挿／外挿（Interpolation／Extrapolation）とは？
連載目次 用語解説 機械学習における内挿（Interpolation）とは、あるデータを使って訓練した機械学習モデルにおいて、その訓練データ（入力データおよび教師ラベル）の数値の範囲内で出力を求めることを指す。また外挿（Extrapolation）とは、その範囲外で求めることを指す。 内挿／外挿という（元々は数学の）用語は、「機械学習モデルの限界」や「誤解を防ぐための注意点」として言及されることが多い。特に機械学習に不慣れな一般人や機械学習の初心者は、内挿と外挿を意識して区別していないため、機械学習モデルのことを「どんな入力データに対しても同じ精度／信頼性で出力できるもの」と誤解しやすい。例えば機械学習モデルを訓練して90％の精度が出たら、「そのモデルを使えば常に90％の精度が出る」と考えがちである。しかしその精度は、入力データが「内挿」であればの話である。もし訓練時に入力したことがない範
Data Science Version Control System
(Not Just) Data Version ControlOpen-source, Git-based data science. Apply version control to machine learning development, make your repo the backbone of your project, and instill best practices across your team. Connect storage to repoKeep large data and model files alongside code and share via your cloud storage. Configure steps as you goDeclare dependencies and outputs at each step to build rep
MLOps: 機械学習における継続的デリバリとパイプラインの自動化 を翻訳してみた - Qiita
表1(翻訳者により追加) MLOpsにおいて、DevOpsから追加された項目 以下では，予測サービスとして機能するMLモデルのトレーニングと評価の代表的な手順を説明します． MLのためのデータサイエンスの手順 どのMLプロジェクトでも、ビジネスユースケースを定義して成功基準を確立した後、 MLモデルを本番環境にデリバリする過程には次の手順が含まれます。 これらの手順は手動で完了することも、自動パイプラインで完了することもできます。 データ抽出： MLタスクのさまざまなデータソースから関連データを選択して統合します。 データ分析： 探索的データ分析 （EDA） を 実行して、MLモデルの構築に使用可能なデータを把握します。 このプロセスにより、次のことが起こります。 モデルが期待するデータスキーマと特性を理解します。 モデルに必要なデータの準備と特徴量エンジニアリングを特定します。 データの
Cloud Composer と GKE を活用して機械学習のワークフローを構築する - GiXo Ltd.
TAG : Airflow | Cloud Composer | GCP | Kubernetes | MLOps | Refeed | tech | Tech & Science AUTHOR : ギックス POSTED : 2020.02.10 09:06 GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 GKE) クラスタ上で実行する構成を取っています。 GKE では複数の node pool を定義できるため、予め用途に応じた複数の node pool を用意しておくことで、タスクに応じた環境の割当てを容易に実現することができます。（現在は β版の提供に留まっていますが、GKE 側で利用リソースに
GitHub - dessa-oss/atlas: An Open Source, Self-Hosted Platform For Applied Deep Learning Development
Build Statuses: Atlas: Self-Hosted Machine Learning Platform Atlas is a flexible Machine Learning platform that consists of a Python SDK, CLI, GUI & Scheduler to help Machine Learning Engineering teams dramatically reduce the model development time & reduce effort in managing infrastructure. Development Status Atlas has evolved very rapidly and has gone though many iterations in Dessa's history. T
Using MLOps to Bring ML to Production/The Promise of MLOps
In this final Weave Online User Group of 2019, David Aronchick asks: have you ever struggled with having different environments to build, train and serve ML models, and how to orchestrate between them? While DevOps and GitOps have made huge traction in recent years, many customers struggle to apply these practices to ML workloads. This talk will focus on the ways MLOps has helped to effectively in
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに — 機械学習帳
Papers with Code - The latest in Machine Learning
MLOps: Continuous delivery and automation pipelines in machine learning | Cloud Architecture Center | Google Cloud
GitHub - tony-framework/TonY: TonY is a framework to natively run deep learning frameworks on Apache Hadoop.
MLOps: 機械学習における継続的デリバリーと自動化のパイプライン | Cloud アーキテクチャ センター | Google Cloud
MLflowによる機械学習モデルのライフサイクルの管理
学習する機械学習 | Cloud AI | Google Cloud
pipeline/README.md at master · PipelineAI/pipeline