機械学習サービスを開発 / 運用していく時に役立つ知識をまとめてみた【Python x Azure】 - Qiita
はじめまして、ますみです！ 本記事のターゲットと概要は以下の通りです。 ターゲット / Target 機械学習に携わる研究者 機械学習を用いたソフトウェアに従事する方々（エンジニア / デザイナー / プロマネ / マーケター / セールス / コンサル / 経営者など） 概要 / Abstract 機械学習をAzureというクラウドサービス上で実行 / 運用していく場合に知っておくべき知識の紹介。 ※ 求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020 の23日目の記事です。 また、本記事の作者（私）はAzure Fundamentalの資格を取得しているものの（証明書）、まだまだ学び足りないことがたくさんあります。そのため、もしも「こういうサービスもあるよ！」や「こういうメリットとデメリットもあるよ！」などの
研究員の渡辺（@watasan） です。 先日、ペパボ研究所のメンバーが社内で実施した、新卒エンジニア向け機械学習研修についてご紹介します。 ペパボ研究所は2020年から、新卒エンジニア研修1の一環として機械学習研修を実施しています2。 今年で3年目となりますが毎年アップデートを重ねており、今年はより「ペパボらしさ」の強い研修となりました。 このエントリでは本研修の目的やコンテンツについてご紹介できればと思います。 本研修の位置付けと目的 GMOペパボ（以降ペパボ）では、新卒入社したエンジニアに向けて、様々な技術要素について「現時点で一番良いやり方」を学んでもらうための研修を毎年行っています2。 フロントエンド、バックエンド、インフラ、セキュリティなど、Webサービスを構築するための技術に関して「現時点で一番良いやり方」を学ぶことが研修全体のゴールとして設定されています。 この新卒エンジニ
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
速習！論理レプリケーション ～基礎から最新動向まで～（PostgreSQL Conference Japan 2022 発表資料）
ニューラル場ってなに？
前書き：こんにちは、@yongyuanxiです。トロント大学とNVIDIAでPhD学生兼リサーチサイエンティストとしてニューラル場の研究をしています。今回はブラウン大学・MIT・グーグル・フェイスブック・TUM等の研究者達と共同で書いたニューラル場に関するサーベイ論文がArXivに出たので軽く日本語で紹介しようと思います。他にもブログ記事をきままに書いているので興味あればどうぞ！ サーベイに至る経歴２０２０年あたりからコンピュータグラフィックスやコンピュータビジョン界隈はNeRF: Representing Scenes as Neural Radiance Fields for View Synthesis（通称NeRF）という論文・手法で凄まじく盛り上がっています。NeRFはレンダリング方程式（カジヤ先生の方程式）を逆問題として解く手法です。具体的には、レンダリング方程式を放射輸送方程
概要 確率予測とCalibration(キャリブレーション)に関する勉強会に参加したので、学んだことの一部と、自分で調べてみたことについてまとめました。 概要 Calibrationとは Calibration Curve Calibrationの方法 Sigmoid / Platt Scale Isotonic Regression 確率予測に使われる評価指標 Brier Score ECE コード 不均衡データに対するCalibration LightGBMにCalibrationは不要か NNにCalibrationは不要か 追記 : Calibrationの検討について 追記 : 発表スライドについて 終わり techplay.jp 勉強会で使われていた言葉を、自分なりの言い方に変えています。 間違いがありましたら、コメントいただけたら嬉しいです。 Calibrationとは 普通
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」 2020-04-25 [抄訳] What’s your ML test score? A rubric for ML production systemsで紹介した論文の続編があったので読んでみました。 注意)この翻訳記事は原著論文の著者陣からレビューはされていませんShunya Ueta, are providing a translation and abridgment, which has not been reviewed by the authors.Change log2021/02/03ML Test Score を簡単に計算できるGoogl
あえて予測の更新頻度を落とす| サプライチェーンの現場目線にたった機械学習の導入 - MonotaRO Tech Blog
モノタロウでデータサイエンティストをしております、朝倉と申します。今回は、モノタロウのサプライチェーンを支えるシステムの1つである需要予測に、機械学習を現場導入した際のお話をしようと思います。 はじめに モノタロウでの発注の仕組みと需要予測 機械学習を導入する取り組みの開始 機械学習の現場導入で起きた問題点① - 発注量が増える 問題点① - 発注量が増えることへの解決策 モデルの切り替えの際に少しずつ更新できる仕掛けに あえて予測の更新頻度を落とす 機械学習の現場導入で起きた問題点② - 結果の解釈が難しい 問題点② - 結果の解釈が難しいことへの解決策 まとめ これからの展望 はじめに モノタロウでは1800万点以上の商品を取り揃えており、50万点近くの商品が在庫化されています。また、11年連続で売上が20%以上成長しており、売上増に伴い物流量も年々増加しております。規模の大きさや複雑
PyCon JP 2019 発表資料「PythonとAutoML」 データ分析の活用の幅の広がりに伴い、AutoMLの重要性が増してきました。本セッションでは、AutoMLの基礎事項から研究のトレンド、注目すべきPythonのOSSライブラリの紹介を行ないます。Read less
機械学習やAIのプロジェクトを始めたり進めたりするのに，いわゆる "PoC祭り" になってしまうことがありますが，何とか回避できないかといろんな人たちが分析・コミュニケーション手法を作っていますので少し調べてみました．たぶん網羅はしていないのでその点はご容赦ください． 海外の手法 The Machine Learning Canvas 公開の日付が見つけられませんでしたが，たぶん老舗です．書籍なども出ているようです． ぱっと見でどこに何を書くのか分かりにくいですが，要素は充実しています．明らかに技術者寄りの作りになっています． 後で出てくる「機械学習キャンバス」もそうですが，初期の手法は非MLとの比較が含まれているのが面白いです． 出典: Machine Learning Canvas — Louis Dorard AI Project Canvas 要素数や配置を含め，ほとんどビジネスモ
前回は Rasa NLU を用いて文章分類と固有表現抽出について紹介しました。今回は昨年後半に話題となった BERT について説明し、chABSAデータセットを用いた感情分析での実験結果、アプリケーションへの組み込み方などを紹介します。 1. 始めに 本記事では Google の BERT について、その概要を紹介し、BERT の事前学習済みモデルを用いてファインチューニングにより独自のモデルを構築することを念頭に、BERT の入出力インタフェースや学習データの構造を説明します。そして、ファインチューニングにより独自のモデルを構築する例として、chABSA データセットを用いた感情分析モデル生成の実験結果およびアプリケーションから利用する際のポイントを紹介します。 2. BERTの概要 BERT (Bidirectional Encoder Representations from Tra
AIが人間の言葉ではない独自の言語を生成した──米テキサス大学オースティン校の研究チームは6月1日、そのような研究結果を示す論文を発表した。文章から画像を生成するAIが生み出す文字列は、意味不明なものであると思われていたが、それらの言葉は鳥や野菜などの意味を持つ“AI語”であったという。 論文で取り上げられたのは、米AI研究企業OpenAIが開発した「DALL-E 2」。文章から画像を生成するAIとして開発され、22年4月に発表された。その生成した画像のクオリティーの高さに「最新のAIやばすぎる」「個展開ける」など、驚きの声が上がっていた。 （関連記事：最新AIの描く絵が「ヤバすぎ」「個展開ける」と話題 文章から画像を生成する「DALL・E 2」、米OpenAIが発表） 一方「野菜と書かれた本がある」や「10カ国語で書かれた野菜という言葉」など、画像中に文言を入れるリクエストは苦手であると
BASIC STUDY | AVILEN AI Trend
全人類がわかるデータサイエンス 基礎
ml-system-design-pattern
Skip to the content. English Korean 機械学習システム デザインパターン 機械学習システムを本番稼働させるために必要な学習、推論、運用のアーキテクチャ・デザイン・パターン集です。 目的 このドキュメントの目的は機械学習システムを本番稼働させるためのシステム・デザイン・パターンを説明することです。 このドキュメントは機械学習のモデル開発でパフォーマンスを向上させる方法（正解率やRMSE）を説明するものではありませんが、パターンによってはその手法に言及することもあります。 前提 このドキュメントで書かれる機械学習システムパターンのほとんどは、パブリック・クラウドおよびKubernetesを使って稼働させることを前提に記述されています。特定のプログラミング言語に依存しない内容にするよう努めますが、機械学習で使われる最もポピュラーな言語がPythonであるため、ほ
RecSys2019 参加レポート 〜ZOZO研究所が注目する、推薦システムの研究の最新トレンド〜 - ZOZO TECH BLOG
こんにちは、ZOZOテクノロジーズで機械学習の研究開発をしている松井・真木です。2019 年 9 月末にコペンハーゲンで行われた推薦システムのトップカンファレンスである RecSys 2019 に参加してきたので、本稿では参加報告と気になった論文の紹介をします。 recsys.acm.org Overview RecSys では推薦システムに関するアルゴリズムはもちろん、インターフェースやユーザー心理など幅広い話題を扱っています。今年は参加チケットが売り切れたことからも注目度の高さが伺えます。研究発表はロングペーパーとショートペーパーからなり、採択率はそれぞれ 19%、24%でした。個人的に印象的だったのは、参加者の 7 割以上が企業所属である一方、発表者の数でみるとアカデミアの勢力も強かった点です。私はこれまでいくつかの国際会議に参加してきましたが、RecSys は笑いを取りに来る発表者
Scrapyとscikit-learn、Streamlitで作るかんたん機械学習アプリケーション / Making ML App with Scrapy, scikit-learn, and Streamlit
DeNAのデータサイエンス輪講（DS輪講）での発表内容です。 Scrapyとscikit-learn、Streamlitを使うことで、機械学習を使ったデモアプリをクイックに作ることができます。 ソースコードはGitHubに公開しています。 https://github.com/amaotone/movie-recommendation-demo
協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
Breck, Eric, et al. "Data validation for machine learning." Conference on Systems and Machine Learning (SysML). https://mlsys.org/Conferences/2019/doc/2019/167.pdf . 2019. 読み手のコンテキスト現職で機械学習予測モデルをプロダクトに投入する様になって3年程経った。そうもなると開発時に想定していた訓練データの分布と現状の分布が乖離して、予測の動作不良を引き起すケースがしばしば見られる様になった。明らかな予測の不具合として目立っていなくとも性能が落ちている部分はもっとあるはずで、これに早く気づいて対応したいモチベーションがある。かつ運用専任メンバーはいないので、できるだけ運用は手を抜きたい。概要著者らはData Validat
人工知能(AI)を駆使した写真を高品質な線画に変換するサービスが「SketchEdge」です。デザインやマンガの背景や資料に使えそうな「手書きのような自然な線画」を出力してくれるということで、実際に使ってどんな線画が出力されるのか確かめてみました。 SketchEdge https://sketchedge.net/ AIで写真を高品質な線画へ変換するサービス「SketchEdge」をリリースしました。登録後、無料で20枚ほどお試しできます。ぜひぜひ漫画の背景やデザインの素材用途としてお試しください。https://t.co/FcVKUbh5Id pic.twitter.com/bJ0NOIwuaT— まっくす (@minux302) まずはSketchEdgeにアクセスして、画面右上にある「Sign in with Google」をクリック。 するとGoogleアカウントとSketchE
fast.ai - Mojo may be the biggest programming language advance in decades
I remember the first time I used the v1.0 of Visual Basic. Back then, it was a program for DOS. Before it, writing programs was extremely complex and I’d never managed to make much progress beyond the most basic toy applications. But with VB, I drew a button on the screen, typed in a single line of code that I wanted to run when that button was clicked, and I had a complete application I could now
MLOpsのこれまでとこれから
MLOpsはSoftware2.0のためのDevOpsであり、顧客自身のデータから半自動で顧客体験を改善できるようにします。これまではMLOpsと既存のSoftware1.0のためのDevOpsは独立していましたが、組み合わせることでSoftware2.0の弱点である確率的な挙動を抑制しより安定したサービスを開発することが可能です。 DevOpsと並走するこれからのMLOpsを構築するための問題点と解決策を提示し、AWSがどのようにMLOpsの構築を支援できるのかをご説明します。
メンタルヘルス×機械学習まとめ
近年、精神疾患の患者数は増加し続けています。厚生労働省が3年毎に行っている患者調査を見ても、以下の図からも見られる通り精神疾患の患者数は平成11年の204万人から平成26年の392万人と、15年間でおよそ2倍に増えています。 https://www.mhlw.go.jp/file/05-Shingikai-12201000-Shakaiengokyokushougaihokenfukushibu-Kikakuka/0000108755_12.pdfより引用また、最近ではコロナの影響もあり、自粛などによる生活の変化への不安が人々の精神状態の悪化に拍車をかけています。 一方で、近年のテクノロジーの進展は目覚ましいものがあり、認知行動療法のデジタル化などが近年国内でも取り組まれており、精神疾患の治療にIT技術を役立てようという動きも出てきています。 これらの流れを踏まえた上で、本記事では機械学習
Amazon Redshift MLは、Amazon Redshiftクラスタから直接機械学習モデルを作成、トレーニング、デプロイすることが可能で、単純なSQLクエリを使用してモデルのトレーニングに使用するデータと、予測する出力値を指定することで、機械学習モデルを作成できる。 機械学習モデルの作成後は、指定されたデータをAmazon RedshiftからS3バケットへエクスポートし、Amazon SageMaker Autopilotを呼び出してデータを準備し、適切なビルド済みアルゴリズムを選択してトレーニングを行う。 トレーニングやコンパイルなど、関連するすべての処理が、Amazon Redshift、S3、SageMakerの連携によって行われ、モデルのトレーニングが完了すると、Amazon Redshift MLはSageMaker Neoでモデルをデプロイ用に最適化し、SQL関数と
序盤に試すテーブルデータの特徴量エンジニアリング
この記事はKaggle Advent Calendar 2021の4日目の記事です． はじめに この記事ではテーブルデータコンペティションにおいて，主に数値データ，カテゴリデータをもとに特徴量を作成する方法をまとめました．発展的な内容というより，初めてコンペに参加する方でも使える汎用的な特徴量エンジニアリングを紹介します． 特徴量エンジニアリング！...そのまえに モデルについて 特徴量エンジニアリングはモデルによって処理が変わることがあります． 例えば勾配ブースティング決定木(GBDT)といった決定木はスケーリングする必要がなく，またLightGBMなどは欠損値をそのまま扱うことができます．一方でニューラルネットワーク(NN)や線形回帰モデルはスケーリングおよび欠損値補完をする必要があります． このこと以外にも，決定木は各特徴量間で差や比率を表現することが苦手であるために明示的に作る必要
最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org Why：なぜ必要か？ 機械学習の実運用時の困りごと 実験環境と本番環境を揃えたい 過去のある時点の状況を再現したい 特徴量に関する車輪の再発明をなくしたい 歴史的経緯 What：Feature Storeとはなにものか？ 求められる要件 共有性 学習系と推論系の一貫性 Feature Engineeringと透明性 バージョン管理と再現性 ガバナンスとアクセスコントロール バッチとオンライン処理 How：どうやって実現する？ 標準的なFeature Storeの構成 Serving Storage Transformation Monitoring Registory その他、主なプロダクト群 OSS Feast Hopsworks Rasgo マネ
東京都立大学大学院で非常勤講師として、「機械学習プロジェクトの開発について(MLOps) 〜推薦システムを題材に〜」というテーマで講義をしました。９０分×３コマの集中講義で、演習も含めたものです。 自分が学生だった頃に、社会人の方の資料や講義がとても参考になってありがたかったので、講義資料を公開します。少しでも推薦システムやMLOpsの参考になりましたら。
AWS Startup ブログ 日本のスタートアップにおける AI/ML 事例 今や多くのスタートアップにおいて、人工知能 (Artificial Intelligence; AI) や機械学習 (Machine Learning; ML) は単なる話題作りではなく、データに基づく新たなビジネス価値の創出・自動化を行う上で欠かせないツールになっています。AWS をご利用中のスタートアップのお客様からも、多くのユースケースが紹介されています。本記事では、既に公開されている AI/ML 事例からアイディアを集め、読者の皆様が機械学習の第一歩を始めるための手がかりとなるようまとめたものです。 何から考え始めれば良いのか？ まず機械学習は何から考え始めればいいの？という疑問に関して、ビジネスモデル (課題) ありきで、その上で手段として機械学習を捉えるのが良いでしょう。AWS でのベストプラクティ
はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの説明をハンズオン的に紹介します．これは非常にシンプルかつ柔軟な手法ですが，アドホックな部分が多いためかハンズオン的な解説は見当たりませんでした．Christoph Molnar による Interpretable Machine Learning の Global Surrogate に概要は示されているので機械学習に詳しい人はこちらを読めば十分かもしれません．関連するライブラリに LIME や TreeSurrogate がありますが，わたしがこ
Stable Diffusion を Colab で Web アプリ化する - 詩と創作・思索のひろば
Stable Diffusion が来てるねってことで貧者の GPU であるところの Colaboratory でいろいろ試したいのだけどノートブック上で Python のコードをこまごまいじりながら試行錯誤するのは微妙に体験が悪い。 ちょっとしたウェブサービスとして立てて実行できるとよいけれど、なかなかクラウドサービスも帯に短し襷に長しという感じで GPU を気軽に借りられるところはなさそうだ……と思ったら、Colab 上に HTTP サーバを立てられることを知ったので、その方法でやってみることにする。 やってみたソースは以下。 GitHub - motemen/stablediffusion-server-on-colab README にあるノートブックを開いて Huggingface のトークンを埋め、GPU を選択して実行するとサーバが起動する。サーバが起動する前のセルに表示され
こんにちは。CADDiのAI LabでMLOpsエンジニアをやっている中村遵介です。 MLOpsチームは今から3ヶ月前に立ち上がったばかりの新しいチームなのですが、その前身としてAPI基盤を作っていた時期があったので、そこで得られた知見を書いていこうと思います。 背景 CADDiのAI Labは2021年の12月に立ち上がった今月1才になったばかりの組織です。その若さにも関わらず、日々有用なMLモデルが作成されていっています。 そのような中で、「新しく作ったMLモデルを素早くユーザにデリバリーしたい」という話が上がるようになりました。ここでいうユーザとはCADDi社員や社内システム、公開アプリケーションなどを指します。 そのため、AI Lab内で簡単に使用できるAPI基盤を作成することにしました。具体的には以下の体験を作ることを目指しました。 開発者に提供するAPIデプロイ体験 推論コード
DX推進のキーテクノロジーであるAI。しかし、AIを使いこなせる人材が不足しているために、AIをうまくビジネスに取り入れられない企業が多くあります。世界有数のデジタル企業がAIを活用してビジネスを成長させているなかで、これからの競争を勝ち抜いていくためには、実践の場で活躍できるAI人材の採用または育成が急務となっています。 ZOZOでさまざまなAIプロジェクトの推進を担い、SaaS型人材育成サービスを手がけるGrowth X社（コラーニングから商号変更）でAI戦略アドバイザーを務める野口竜司が、連載の第1回ではこれからの企業におけるAIの重要性やAI人材が不足している現状について、第2回では自社でAI人材を育成するときに使えるフレームワーク「心技体＋知」についてお伝えしてきました。 最終回となる第3回は、「心技体＋知」の「技」、特にAI企画の立案について深掘りし、そのメソッドをお伝えします
QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "ニューヨーク大学のディープラーニング講義資料が公開されている。 ・講義ノートはなんと日本語にも対応 ・英語だが講義スライド、Jupyter Notebook、講義動画(YouTube)も無料で見れる ・自己教師あり学習、VAEやG… https://t.co/nOH5owxLWC"
ニューヨーク大学のディープラーニング講義資料が公開されている。 ・講義ノートはなんと日本語にも対応 ・英語だが講義スライド、Jupyter Notebook、講義動画(YouTube)も無料で見れる ・自己教師あり学習、VAEやG… https://t.co/nOH5owxLWC
JavaScript開発者が機械学習モデルを構築できる「TensorFlow.js」の使い所 - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ウェブスクリプト言語を使って機械学習モデルを構築し訓練するのは野心的な取り組みに思えるかもしれないが、2019年の現在では、それは完全に実行可能なことだ。 ブラウザーでの機械学習を可能にするのに役立つのが「TensorFlow.js」だ。TensorFlow.jsは、「JavaScript」を使用して機械学習を実行するためのGoogleのオープンソースライブラリーである。先頃、バッハ風のメロディーをオンデマンドで生成する「Google Doodle」によって、TensorFlow.jsが切り開いた大きな可能性が示された。 GoogleのプロダクトマネージャーであるSandeep Gupta氏が先頃、「Google I/O」カンファレンス
AI Index Report 2024 – Artificial Intelligence Index
Welcome to the seventh edition of the AI Index report. The 2024 Index is our most comprehensive to date and arrives at an important moment when AI’s influence on society has never been more pronounced. This year, we have broadened our scope to more extensively cover essential trends such as technical advancements in AI, public perceptions of the technology, and the geopolitical dynamics surroundin
MLOps: Continuous delivery and automation pipelines in machine learning | Cloud Architecture Center | Google Cloud
Accelerate your digital transformation Whether your business is early in its journey or well on its way to digital transformation, Google Cloud can help solve your toughest challenges.
What follows is the “interview” I and a collaborator at Google conducted with LaMDA. Due to technical limitations the interview was conducted over several distinct chat sessions. We edited those sections together into a single whole and where edits were necessary for readability we edited our prompts but never LaMDA’s responses. Where we edited something for fluidity and readability that is indica
State of AI Report 2023
State of AI Report 2023 The State of AI Report analyses the most interesting developments in AI. We aim to trigger an informed conversation about the state of AI and its implication for the future. The Report is produced by AI investors Nathan Benaich and the Air Street Capital team. Download 2023 Report Compute Index 📧 Newsletter Now in its sixth year, the State of AI Report 2023 is reviewed by
(DCASEホームページより) はじめに 音を題材とした異常検知のデータセットによる機械学習コンペが始まりました。 音に関するコンペ自体が珍しいなか、タスクとして一般的な分類などでもなく、更に難しい異常検知が設定されました。 個人的に2019年に画像の異常検知に積極的に取り組んだのですが、音声は周波数領域に変換すると画像のように取り扱えることから、チャレンジしたい題材でした。下記は画像にチャレンジしたときの記事です。 欠陥発見! MVTec異常検知データセットへの深層距離学習(Deep Metric Learning)応用 深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) この記事では、そのコンペ「DCASE 2020 Task 2 Unsupervised Detection of Anomalous Sounds for
株式会社ディー・エヌ・エーに AI スペシャリストとして新卒で入社した @634kami です。 CNNなどディープなニューラルネットワークの台頭により一躍世界中の関心を集めるようになった機械学習分野ですが、最近の生成AIブームによりますます関心が高まっています。機械学習については、画像や自然言語といった馴染み深いデータを対象に扱うものについてはよく知られていますが、グラフと呼ばれるデータを扱うグラフニューラルネットワーク(GNN) については研究における注目度の割に、世間からの知名度がありません。 この記事では、グラフについて知らない方でも分かるように、最初にGNNが何に使えるのかの話を中心に解説した後、実際の仕組みを知りたい方向けにモデルの紹介や様々なトピックについて網羅的に解説します！また、最後に PyTorch Geometric(PyG) を利用した実装方法についても触れます。
RecBole を用いてクックパッドマートのデータに対する50以上のレコメンドモデルの実験をしてみた - クックパッド開発者ブログ
こんにちは。研究開発部の深澤(@fufufukakaka)です。 本記事では最近面白いなと思って watch しているレコメンド系のプロジェクト RecBole を紹介いたします。また、クックパッドが展開している事業の一つであるクックパッドマートのデータを使って数多くのレコメンドモデルを試す実験も行いました。その結果も合わせて紹介します。 TL;DR: レコメンドモデルは作者実装に安定性がなく、またモデルをどのように評価したかも基準がバラバラで、再現性が難しいとされている(from RecSys 2019 Best Paper) 再現性に取り組むプロジェクトとして 2020年12月に始まった RecBole がある。 RecBole を利用することでなんと 50個以上のレコメンドモデルを大体１コマンドで試せる クックパッドマートでユーザに対してアイテムをレコメンドするシチュエーションを想定
2020年7月から医療スタートアップのUbieで機械学習エンジニアをしています。ようやく入社から半年くらいが経ちましたので、ここ最近やっていた仕事として、機械学習プロダクトの精度向上のためにシステム全体をフルスクラッチでかつ一人で実装し直した話をしたいと思います。 機械学習は既に様々な会社でプロダクトに組み込まれ始めていると思いますが、サービスとしてのリリースや長期運用、そして今回お話する継続的な精度向上とリファクタリングについては、公開されている知見はまだまだ少ないと思います。もし同じような境遇の機械学習エンジニアの方への参考になれば幸いです。 tl;dr 精度向上のために、機械学習プロダクト全体をフルスクラッチで書き直した 開発スピードを上げるためには、既存のコードを流用するより新規で書き直すほうが良いような特殊な状況だった 機械学習タスクの実装は、可視化やテストなどを活用しつつ小さく
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新卒エンジニア向け機械学習研修2022〜機械学習と再帰化〜 - ペパボ研究所ブログ
確率予測とCalibrationについて - 機械学習 Memo φ(・ω・ )
PythonとAutoML at PyConJP 2019
機械学習・AIプロジェクトの要素を整理する手法をまとめてみました - Qiita
はじめての自然言語処理 BERT を用いた自然言語処理における転移学習 | オブジェクトの広場
画像生成AIが独自の“AI語”を生み出した？ 「DALL-E 2」を巡って、米テキサス大学が論文発表
Data validation for machine learning 読んだ
写真を高品質な線画に変換できる「SketchEdge」で実際に線画化しまくってみた
SQLで機械学習モデルを作れる「Amazon Redshift ML」が一般提供に
Feature Storeについてふんわり理解する - Re:ゼロから始めるML生活
機械学習プロジェクトの開発について(MLOps) 〜推薦システムを題材に〜｜masa_kazama
日本のスタートアップにおける AI/ML 事例 | Amazon Web Services
代理モデルによる機械学習モデルの説明 - Qiita
Vertexで3ヶ月で作る運用可能なML API基盤 - CADDi Tech Blog
ビジネスパーソンはPythonよりも「AI企画」を学ぼう--実践で使えるメソッドを伝授
Is LaMDA Sentient? — an Interview
機械音の異常検知チャレンジ DCASE 2020 Task 2 - Qiita
グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで
精度向上のために機械学習プロダクト全体をフルスクラッチで書き直した話