freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは：特集：2020年、AI活用の成否を分かつ技術とは（3）（1/2 ページ） 「最新の進化を取り入れ、freeeという企業の今のステージに適した機械学習基盤を目指した」。freeeのAIラボで機械学習基盤の構築を主導している田中浩之氏はこう話す。では、freeeの今に適した機械学習基盤とは、どのようなものなのか。 freeeで機械学習／AIによる推論サービスを担当しているAIラボでは、チームで利用する機械学習インフラ基盤を構築し、2019年後半に運用を開始した。基盤構築の中心となっている田中浩之氏は、自身が以前、自然言語処理の研究を始めたころを振り返り、機械学習を支援する技術が驚くべき進歩を遂げたと話す。 「当時はC言語で一からアルゴリズムを書いていた。今はそのようなことがなくなり、1日あるいは半日でプロトタ
MLflowとは？ MLflowは機械学習のライフサイクル管理（MLOps）を目的としたライブラリで、主に実験管理用途で使用されることの多いツールです。 実験管理とは、 ・使用した学習器や学習データ、ハイパーパラメータ等のモデル作成条件 ・そのモデルを評価して得られた評価指標 のセットを記録し、複数条件の比較を行うことで最適なモデル選定を行う工程です。 このような条件記録はExcel等での手入力が一般的かと思いますが、 「手入力は時間が掛かる！」 「手入力をミスして苦労して集めた結果が信頼できなくなった」 という経験をされた方も多いかと思います 上記のような経験から、MLflowにより実験管理を自動化すれば、多くのメリットが得られることはイメージが付くかと思います。 MLflowは2018年リリースの比較的新しいライブラリですが、GitHubのStarは既に1万を突破しており、下図のように
ヤマト運輸は、業務量を機械学習を使って予測するためのMLOps（Machine Learning Operations：機械学習運用）環境を構築した。機械学習モデルの作成プロセスを自動化し、運用の高速化と継続的な開発および精度の改善を図る。環境構築を支援したエクサウィザーズが2021年11月17日に発表した。 ヤマト運輸は、需要に応じた経営資源の最適配置とコストの適正化を図るために毎月、約6500店ある宅急便センターの数カ月先の業務量を予測するための機械学習モデルを作成し運用している。 今回、手動で実行していた機械学習モデルの作成プロセス（機械学習パイプライン）を自動化するために、MLOps（Machine Learning Operations：機械学習運用）環境を構築した（図1）。これにより、月次の機械学習モデルの運用を高速化した。 具体的には、余裕を持ったスケジュールでの運用が可能に
あらゆる分野で活用が広がる人工知能（AI）技術。中でもDeep Learning（以下、DL）は画像処理や映像処理での活用に始まり、Googleが2018年10月に発表した「BERT」をきっかけに、自然言語処理（NLP）分野でも進化が進むなど、できることは日々広がっている。こうした技術を企業がビジネスに活用していく際に直面する課題とは何だろうか。ABEJAの代表取締役兼CEOであり、日本ディープラーニング協会（JDLA）の理事を務める岡田陽介氏に聞いた。 技術的な課題よりも、AIに対する「根強い誤解」が課題に？ 今やさまざまなメディアで「AIを活用すべき」「機械学習（以下、ML）やDLを生かした新しいビジネスを」といった論調が飛び交っているが、自社でどのように取り入れ、実践すべきか、思い悩む企業は少なくないのではないだろうか。岡田氏によると、データやテクノロジーの活用を考える際にまず重要な
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
はじめに 昨今、様々な機械学習（深層学習を含む。以降、ML）の手法が提案されるとともに、社会実装や業務適用に向けたプロジェクトが開始されています。 しかし、現実問題をMLで解き、社会的・実務上の価値に繋げることは容易ではなく、多くのプロジェクトがPoC（Proof of Concept, 技術の概念検証）で止まっています。（PoC疲れ、PoC地獄、PoC貧乏といった単語すら登場しています...） ここ数年で多くのPoCが行われた結果、様々な反省点や改善手法が提案されてきており、本記事では、特に有意義だった下記の2論文+個人的な経験を踏まえて、社会実装・業務適用に向けた機械学習プロジェクトの進め方について、まとめてみたいと思います。 参考文献 Using AntiPatterns to avoid MLOps Mistakes How to avoid machine learning pi
![[MLOps Tips] 社会実装・業務適用に向けた機械学習プロジェクトの進め方 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/442698ec80b5ece8032b7b120c96d9023ae43eed/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCTUxPcHMlMjBUaXBzJTVEJTIwJUU3JUE0JUJFJUU0JUJDJTlBJUU1JUFFJTlGJUU4JUEzJTg1JUUzJTgzJUJCJUU2JUE1JUFEJUU1JThCJTk5JUU5JTgxJUE5JUU3JTk0JUE4JUUzJTgxJUFCJUU1JTkwJTkxJUUzJTgxJTkxJUUzJTgxJTlGJUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgyJUI4JUUzJTgyJUE3JUUzJTgyJUFGJUUzJTgzJTg4JUUzJTgxJUFFJUU5JTgwJUIyJUUzJTgyJTgxJUU2JTk2JUI5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xOGMyNzU4ODU4ZGE0Mzg1MDg2ZTg2NmVhZDdiODQzNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWt1YmImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWU4MjQwNTI3MzA5NzRhMmQxNjdmZGJhZTE5YWRkMzdj%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D02cc1d6c1c7831e19fd14d444d5b0d6c)
こんにちは。Mercari Advent Calendar 2019の20日目は、AIチーム所属エンジニアのlain_m21が担当させていただきます。 一度出したサービスはそのまま放置せず、何度も改善させていくものです。特に機械学習を用いたサービスを改善させていく際には、精度向上がどれほどのビジネスインパクトがあるのか、どの指標を用いてモデルを改善していくべきなのか、ということを常に考える必要があります。それらを検証するために、オンラインでモデルを高速にテストする仕組みが必要だったので作った、という話をします。 背景 機械学習を用いたサービスは、開発時には何かしらの精度指標を最適化するようにモデルを学習させます。しかし、その精度向上が実際にはどれほどのビジネス的なインパクトに繋がるかは、プロダクション環境に出すまでわからないことがとても多いです。 例えば、出品時に商品の提示価格をサジェスト
同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度MLOps研修基礎編: https://speakerdeck.com/nsakki55/mlops-basic (3/4) CyberAgent AI事業本部2024年度MLOps研修応用編: https://speakerdeck.com/tyaba/mlops-handson (4/4) CyberAgent AI事業本部2024年度MLOps研修実践編: https://speakerdeck.com/hosimesi11/mlops-practice
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。前半は環境の構築について。関連資料1、関連資料2 文献についての紹介 服部圭悟氏（以下、服部）： 本日は、文献『Cost-efficient and scalable ML-experiments in AWS with spot-instances, Kubernetes and Horovod』について紹介したいと思います。 実はこちら、Twitterのほうで紹介してもらったのを読んだのですが、すごくよいな
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web Services
Amazon Web Services ブログ Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ この記事はMLOps foundation roadmap for enterprises with Amazon SageMakerを翻訳したものです。 企業が組織全体で機械学習 (ML)の採用を進めるにつれて 、MLモデルの構築、学習、デプロイのための手動ワークフローがイノベーションのボトルネックになる傾向にあります。これを克服するために、企業はデータサイエンティスト、データエンジニア、MLエンジニア、IT、ビジネス関係者などの複数のペルソナがどのように協業すべきか、懸念事項、責任、スキルをどのように分離するか、AWSのサービスをどのようにして最適に使用するかなどについて明らかにし、明確な運用モデルを構築する必要があります。 このようなMLと運用
MLOpsの前提となる「ML」がプロダクトの成長に貢献している状態を実現するために、AWSが実施している ML Enablement Workshop の内容や提供の経緯をお話しした資料です。 ML Enablement Workshop は GitHub で公開しています。 https://github.com/aws-samples/aws-ml-enablement-workshop MLOps 勉強会での発表資料です https://mlops.connpass.com/event/290277/
ML事業部の近江崇宏です。 Stockmarkでは日々、膨大な数のニュース記事に対してBERTの推論処理を行なっています。このような重いタスクを効率的に処理するために、最近、TPUを用いたBERTの推論処理基盤をGoogle Cloud Platform上に構築し、運用を開始しました。その結果として、これまで1週間程度かかっていた、数千万件のデータの処理を1日以内で完了できるようになるなどの大きな効果を得られました。今回はこの取り組みについて紹介します。 はじめに近年のニューラルネットワークの研究の発展により、画像認識や自然言語処理の様々なタスクを人間と同等もしくはそれ以上のレベルで処理できるようになりました。その結果として、ビジネスでのニューラルネットワークの利用が進んでいます。その一方で、ニューラルネットワークには、モデルの巨大さに起因して処理時間が長いという大きな問題があります。その
「入門機械学習パイプライン」にSagemaker Studio Labで入門する | Amazon Web Services
前半の章では、これらの各ステージの意義とTFXを用いた実装を主として取り扱っています。 第３章ではExampleGenを用いた構造化・非構造化データの取り込み方法とベストプラクティスが紹介されています。 それに加えて、取り込んだデータをトレーニング、評価、テスト用に分割する方法や、データセットのバージョン管理についても解説があります。 第４章ではTensorFlow Data Validation (TFDV)を用いてデータセットの検証を行っています。 TFDVを用いてデータから要約統計量を計算し、データセットを表現するスキーマを生成しています。また、スキーマを元に同じ種類の２つのデータセット間（学習データセットと検証データセットや別日に収集された学習データセット）の差が許容されるものであるかをチェックしたり、TFDVを用いてデータセットを選択した特徴量でスライスし、データセットのバイアス
この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん（@enakai00）がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows how you can use Cloud Run and Cloud Workflows to create a simple ML pipeline. The ML usecase is based on the babyweight model examp
こんにちは、Mobility Technologiesのデータエンジニアの渡部徹太郎です。 データサイエンティストの皆さん、以下のような状況になったことないでしょうか。 データの加工処理が遅いからインスタンスタイプを上げたが速くならなかった機械学習の学習が遅いから、GPUを増やしたが、速くならなかった こういったときは以下の資料を見てください。きっと解決します！ スライドへのリンク この資料は、先日社内の勉強会で説明した資料になります。 We're Hiring!
用語「MLOps（“Machine Learning”と“Operations”の合成語）」について説明。機械学習モデルの実装～運用のライフサイクルを円滑に進めるために築かれる、機械学習チーム／開発チームと運用チームが協調し合う管理体制（機械学習基盤）を指す。 連載目次 用語解説 MLOpsとは、「機械学習チーム（Machine Learning）／開発チーム」と「運用チーム（Operations）」がお互いに協調し合うことで、機械学習モデルの実装から運用までのライフサイクルを円滑に進めるための管理体制（機械学習基盤）を築くこと、またはその概念全体を指す。類義語にDevOpsがあるが、まさにそのDevOpsから発展して生まれた考え方である。DevOpsに詳しければ、その機械学習版だと考えるとよい。 DevOpsの考え方と同様に、機械学習チーム／開発チームは、最終的なソリューションの一機能と
Summary We provide a few tips for reducing the size of docker images that use Conda, reducing an example docker image to 15% of its original size. Introduction Conda is a useful tool for managing application dependencies. When combined with Docker for deployment you can have a nice workflow for reproducible application environments. If you're not careful though, you can end up with extremely large
GitHub - replicate/keepsake: Version control for machine learning
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに ホクソエムサポーターの藤岡です。会社を移りましたが、相変わらずPythonを書く仕事をしています。 前回の記事に引き続き、今回もMLflowについての記事です。 前回はトラッキング寄りでしたが、今回はモデルのデプロイにも関わってくる内容です。 MLflowはXGBoost, PySpark, scikit-learnといった多様なライブラリに対応していて、様々な機械学習タスクに活用することができるのが売りの一つです。 その実現のため、設計や実装に様々な工夫がされているのですが、 この部分について詳しくなることで、オリジナルの機械学習モデルをMLflowとうまく繋ぐことができるようになったり ETLのようなモデル学習にとどまらない使い方もできるようになったりします。 本記事では、XGBoostをMLflowで扱うためのモジュール mlflow.xgboost について解説することで
Data Version Control(DVC)とは？ データ分析や機械学習のコードを書いているときに遭遇する以下のような問題を解決してくれるツールです。 データセットの管理がつらい 例えば、Gitのリポジトリで大きい容量のデータセットを管理することは不便になりがち Githubには1ファイルのサイズ上限100MBで、それ以上はpushできない(https://help.github.com/articles/what-is-my-disk-quota/) 実験条件が微妙に異なるときのバージョン管理 ハイパパラメータ、前処理、データセットが異なるときバージョン管理は煩雑になりがち 実験を再現できるようにする工夫が必要 データセット、スクリプト、各種パラメータなどがそろっていないとモデル作成が再現できない 中間生成ファイルが階層的にあり、最終的にモデルが生成されるといった時の再現性の担保
【書き起こし】メルペイが取り組む機械学習システムの品質保証 – Hiroshi Yoshizawa【Merpay Tech Fest 2022】 | メルカリエンジニアリング
【書き起こし】メルペイが取り組む機械学習システムの品質保証 – Hiroshi Yoshizawa【Merpay Tech Fest 2022】 Merpay Tech Fest 2022 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2022年8月23日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「メルペイが取り組む機械学習システムの品質保証」の書き起こしです。 それでは「メルペイが取り組む機械学習システムの品質保証」というテーマでお話しします。よろしくお願いします。 自己紹介 Yoshizawaと申します。金融系のエンジニアでキャリアをスタートし、2014年頃から機械学習の仕事をはじめました。7年ほど働いた後、2021年に
2023/11/29(水)の第36回MLOps勉強会に登壇した際の資料です。
〜機械学習による違反商品検知〜 株式会社メルカリ（以下、メルカリ）は、当社のAIエンジニアによる論文「Auto Content Moderation in C2C e-Commerce」（邦題：CtoCマーケットプレイスにおける機械学習による違反商品検知）が、2020年7月から8月にかけて開催される国際会議「2020 USENIX Conference on Operational Machine Learning (OpML’20)」にて採択されたことをお知らせいたします。 OpMLを主催するUSENIX協会は、約45年の歴史と権威がある団体で、いくつかの研究会から構成されています。OpMLは2019年より開催されている研究会で、機械学習を実世界で運用する際の課題と解決策がテーマになっています。近年、機械学習が研究領域分野だけでなく、さまざまな商用サービスで実運用されているなかで注目分野
機械学習チームにおけるソフトウェアエンジニア〜役割、キャリア /devsum-2018-summer
https://event.shoeisha.jp/devsumi/20180727
GO TechTalk #24 タクシーアプリ『GO』のAIサービスを支えるMLOpsを体感しよう！で発表した資料です。 ■ YouTube https://www.youtube.com/live/r_oYsac9Hvo?si=6fajvCDKzA-zQe3m&t=1514 ■ connpass https://jtx.connpass.com/event/301271/
機械学習パイプラインの概念について説明した資料です。 ## Reference ### ML Pipelines for Software Engineers GigaOm-Delivering on the Vision of MLOps - Microsoft Azure https://azure.microsoft.com/ja-jp/resources/gigaom-delivering-on-the-vision-of-mlops/ Sculley, D. and Holt, Gary and Golovin, Daniel and Davydov, Eugene and Phillips, Todd and Ebner, Dietmar and Chaudhary, Vinay and Young, Michael and Crespo, Jean-Fran\c{c}ois
東芝は2022年4月20日、同社のAI技術を紹介するセミナーの中で、企業が機械学習を用いたシステムを導入した後、同システムを継続的に改善していく「MLOps」について解説した。MLOpsの基礎知識から、実施する際の留意点などを解説した。 東芝は2022年4月20日、同社のAI（人工知能）技術を紹介するセミナーの中で、企業が機械学習を用いたシステムを導入した後、同システムを継続的に改善していく「MLOps」の基礎知識や、実践する際の留意点などについて解説した。 精度劣化などの対策を講じる MLOpsはビジネス、機械学習の専門家、システム開発担当者、システム運用担当者が一体のチームとなり、企業に導入した機械学習を採用したAIシステムの継続的な改善に取り組むことを指す。 AIシステムは精度低下が生じ得る。このためシステムの運用チームはAIシステム運用の傍ら、AIモデルの精度劣化が生じていないかな
はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも
そもそも機械学習の学会とは はじめまして、株式会社メルカリにて機械学習エンジニアをしています上田（@hurutoriya）です。筑波大学修士卒業の後、フリーランスとして経験を積み、株式会社メルカリに機械学習エンジニアとして入社しました。 今回、会社の成果を論文形式でまとめて、投稿した論文がOpML’20 に採択されたので、今回の論文投稿と採択経験を通じて学んだ機械学習系の学会事情や学会に参加してよかったことについて紹介していきます。 機械学習エンジニアの学会事情 まずは、機械学習エンジニアの学会事情について説明します。機械学習に関連する学会には多岐にわたる国際学会が存在します。 代表的なものだけでも下記のような学会があります。 機械学習分野: ICML, NeurIPS データマイニング: KDD. WSDM, CIKM コンピュータビジョン: CVPR, ICCV, ECCV 自然言語処
機械学習パイプライン構築を楽にするgokart-pipelinerを作った - Stimulator
- はじめに - luigi、gokartで作ったtaskのパイプライン構築をちょっと楽にする（かもしれない）管理するためのツールを作った。 github.com 近年、MLOpsの一部である機械学習のためのパイプラインを構築するためのツールは飽和状態にあるけどそれらと比較してどうなのという話も書く。 - はじめに - gokart-pipelinerを使ってみる gokartの良さ gokart-pipelinerの意義 パラメータとパイプラインが密結合しすぎ パイプラインライブラリなのにやればやるほどrequiresメソッドが複雑になる jupyter notebookと行き来するのがダルい future work おわりに gokart-pipelinerを使ってみる gokartはエムスリー株式会社が開発している機械学習パイプラインOSSである。gokart自体、使った事がないし興
2022-03-31 先日の記事で告知した1のですが、昨夜、「Human In The Loop」を題材にした勉強会を開催してきました。 実際に Human In The Loop を扱った MLOps の論文2 を過去に書いているくらい興味のある分野なので、この領域を盛り上げていくために開催できてよかった。 オンライン勉強会でしたので、配信動画を Youtube で公開しております。 Human In The Loop に興味のある方はぜひご覧ください。 Machine Learning Casual Talks #13 (Online) 各発表について各発表の説明は割愛して、一言感想を述べさせていただきます。 Editors-in-the-loop なニュース記事要約システムの提案 by @upura業務成果を国際会議のワークショップに通されたの素晴らしいですね 👏 (自分も論文を出
最近は勉強会での登壇や書籍の出版などアウトプットが色々重なりました (昨年は一度もプロポーザルを書かず登壇依頼もなかったので随分増えました)。 そのたびにツイートもしてきましたが、ほとんど流れてしまって少しもったいない気がしたのでブログにまとめておこうと思います。 登壇資料 PyData.Tokyo Meetup #23「サイバーエージェントにおけるMLOpsに関する取り組み」 Optuna Meetup #1「CMA-ESサンプラーによるハイパーパラメータ最適化」 World Plone Day「Web パネルディスカッション（Python Webと非同期）」 CA BASE NEXT「サイバーエージェントにおけるMLOpsに関する取り組み」 書籍 実践Django Pythonによる本格Webアプリケーション開発（翔泳社：7月19日発売） エキスパートPythonプログラミング改訂3版
Shinichi Takaŷanagi on Twitter: "”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP"
”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能（レコメンドシステム）の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow（以降、Airflowと記載します）に集約して、運用負荷を低減した事例を簡単なシステム構成とともに紹介したいと思います。 ※ レコメンドシステムの開発ではプライバシーポリシーの範囲内で取得したデータを用いて行っています Yahoo!ショッピングのレコメンドとは？ Yahoo!ショッピングやPayPayモールには、ユーザーがなにか商品を見ている時に、他にも興味を持ってもらえそうな商品を推薦するレ
Cloud Composer 2上でApache Airflow 2のワークフローを実装する - ZOZO TECH BLOG
はじめに こんにちはZOZOデータサイエンス部MLOpsブロック松岡です。 本記事では先日リリースされたGCP（Google Cloud Platform）Cloud Composerの最新バージョンCloud Composer 2について紹介します。 ZOZOTOWNでは、多種多様な商品が毎日新たに出品されています。現在MLOpsブロックでは、機械学習で商品情報の登録を補佐するシステムを開発しています。 このシステムでは商品情報を保存するデータベースへ大量の書き込み処理が発生します。このアクセスによる負荷が日常業務に影響を及ぼすリスクを最小限に抑えるため、推論処理は夜間に行います。夜間に処理を完了させるには強力なマシンリソースを使用する必要があります。コストの観点から処理が行われていない時間はマシンリソースを使用停止する必要もあります。また、人手を介さずに安定して稼働出来る仕組みも求めら
はじめに 4月23日にメルカリ 澁井氏(@cvusk )により、機械学習システムのデザインパターンについてのブログポスト、および実ドキュメントがGitHub Pages公開されました。 https://tech.mercari.com/entry/ml-system-design より引用 また、氏の「データ分析基盤Developers Night #4 〜活用されるデータ基盤のつくり方〜」における「メルカリのデータ分析を支える機械学習システムのデザインパターン」の発表が、 ログミーのまとめ YouTubeアーカイブ にあり、併せて視聴すると、どのように設計パターンという発想に至ったか、またメルカリにおける設計パターン活用の実例に触れられます。 機械学習のシステム構成を学ぶ記事をまとめる - Qiita には、ご本人により、こうした機械学習のエンジニアリング、アーキテクチャ面の参考リンクが
機械学習に携わる業務をするなかで必要になった、機械学習アルゴリズム以外の知識について概要を共有します。主に MLOps 周りと、その立ち上げに必要なものです。 ## Data science for software engineers 有賀 康顕, 中山 心太, 西林 孝著「仕事ではじめる機械学習 第 2 版」 オライリー・ジャパン 2021 年 https://www.oreilly.co.jp/books/9784873119472/ Miguel A. Hernán, John Hsu & Brian Healy (2019) A Second Chance to Get Causal Inference Right: A Classification of Data Science Tasks, CHANCE, 32:1, 42-49, DOI: 10.1080/09332480
Pytorch-lightning+Hydra+wandbで作るNN実験レポジトリ - Higu`s diary
Kaggle Advent Calender2020の 11日目の記事です。 昨日はhmdhmdさんのこちらの記事です! 2020年、最もお世話になった解法を紹介します - Qiita 明日はarutema47さんの記事です! (後ほどリンクはります) 本記事では、深層学習プロジェクトで使用すると便利なライブラリ、 Pytorch-lightningとHydraとwandb(Weights&Biases)について紹介したいと思います。 対象読者 Pytorchのボイラープレートコードを減らせないか考えている 下記ライブラリについては聞いたことあるけど、試すのは億劫でやってない 書いてあること 各ライブラリの役割と簡単な使い方 各ライブラリを組み合わせて使う方法 各ライブラリのリファレンスのどこを読めばよいか、更に勉強するにはどうすればよいか また、上記3つのライブラリを使用したレポジトリを
GitHub - ml-tooling/best-of-ml-python: 🏆 A ranked list of awesome machine learning Python libraries. Updated weekly.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは
【MLOps】「いつか使いたい！」と思っていた人のためのMLflowまとめ - Qiita
ヤマト運輸、業務量を機械学習で予測するためのMLOps環境を構築
もはやPoCばかりやっている場合ではない――企業が抱くAIへの誤解と課題
Engineers Shouldn’t Write ETL: A Guide to Building a High Functioning Data Science Department | Stitch Fix Technology – Multithreaded
[MLOps Tips] 社会実装・業務適用に向けた機械学習プロジェクトの進め方 - Qiita
機械学習モデルを高速にオンラインテストする仕組みを作った話 | メルカリエンジニアリング
CyberAgent AI事業本部2024年度MLOps研修基礎編 / MLOps Basic
データセットの読み込みにはEBS、その成果物にはEFSを使うとよい 文献から学ぶクラウド機械学習のベストプラクティス
インフラだけではないMLOpsの話
Cloud TPUを用いたBERT推論処理基盤の開発
Cloud RunでサーバレスMLOpsを試してみた - Qiita
データサイエンティスト向け性能問題対応の基礎 | MoT Lab (GO Inc. Engineering Blog)
MLOps（機械学習基盤）とは？ AIOpsとの違い
Smaller Docker images with Conda // Jim Crist-Harif
MLflowのXGBoost拡張を読んでみる - 株式会社ホクソエムのブログ
Data Version Control(DVC)でデータ分析のモデル作成を再現可能にする - Qiita
機械学習ソフトウェアにおけるテスト手法
メルカリ、機械学習の実運用に関する国際会議「OpML’20」に論文が採択
車両情報のリアルタイム特徴量基盤の構築
Introduction to ML Pipelines
機械学習活用のAIシステム運用に欠かせない「MLOps」とは何か
実験を高速化する機械学習パイプライン開発の挑戦 - ABEJA Tech Blog
機械学習エンジニアの学会での論文発表のススメ。応募から査読通過までの流れ | Offers Magazine
Human-in-the-Loop を題材にした機械学習の勉強会を開催した
最近の登壇資料と出版予定の書籍、インタビュー記事 - c-bata web
AirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話
メルカリ「機械学習システムの設計パターン」を読んでみる - Qiita
Introduction to Practical Machine Learning