こんにちは。Merpay Advent Calendar 2019 の24日目は、メルペイ Machine Learning チームの @yuhi が機械学習における解釈性についてお送りします。 目次 機械学習における解釈性とは なぜ解釈性が必要なのか 1. サービスを提供する事業者としての説明責任 2. 推論結果に対する社内外の関係者の理解 3. モデルのデバッグ、精度改善 どのようなアプローチがあるのか SHAPについて サマリ 基本的なアイディア 問題設定 説明可能モデルに対して満たしてほしい性質 説明可能モデルを求める SHAPの実装について 最後に References 機械学習における解釈性とは 深層学習をはじめとする機械学習分野の発展に伴って、これまでにないユニークなサービスが開発され、また多くの業界において業務が効率化、高度化されつつあります。メルペイでも機械学習を用いて、
検索アルゴリズム改善における機械学習の活用 〜MLOpsについて〜 - ぐるなびをちょっと良くするエンジニアブログ
はじめに こんにちは。 CX部門 データ・AI戦略室 データ戦略Gの田中です。 ぐるなびには2018年に新卒として入社し、レコメンドエンジンの開発や在庫・予約関連のデータ分析等に携わってきました。 現在は主に検索結果の並び順アルゴリズムの改善を行っています。 私たちのチームではアルゴリズム自体の改善に伴い、MLOps（機械学習の運用改善）にも取り組みました。 今回は、 MLOpsとは どうやって導入したか 導入で何が得られたか についてお話ししていきたいと思います。 検索アルゴリズム改善プロジェクトについて 検索の並び順アルゴリズム改善のプロジェクトが始まったのは約2年前でした。 それまでの並び順は複雑なルールベースで決められていました。 そこで機械学習のモデルを用いてより効果的な並び順を予測し、検索結果の改善・CVRの向上を試みました。 2020年の2月からプロジェクトがスタートし、3月
はじめに たまには Rust も書きます。機械学習に興味があり、興味があれば何でも触ります。 smartcore とは とある Rust の機械学習に詳しい人に、最近の Rust の機械学習ライブラリのデファクトぽいのを聞いたところ、丁寧に linfa か smartcore を教えて貰いました。はじめに linfa を試したのですが、うまく行きませんでした。僕は Rust の toolchain で gnu(mingw) を使う派なのですが、linfa は Intel MKL をリンクする必要があり、Intel MKL は MSVC 形式のライブラリしか提供していません。DLL から .a を生成してリンクしてみたりもしましたが、結局うまくリンクできず諦めてしまいました。MSVC の toolchain や他の OS(Linux) だと問題なく動くんだと思います。 しかたなく、残りの s
機械学習／ディープラーニングの進化は速い。どうやってその最新技術情報に追いつけばよいのか。そんな状況の中、実際に筆者が実践活用して役立っており、本心でお勧めできる3つのメルマガを紹介する。 連載目次 現在の「人工知能／機械学習」分野は、新たな技術が次々と生まれるホットな領域の一つである。ただし、その最先端の情報を追いかけるのは容易ではない。 その理由の一つが、最先端技術の情報はさまざまな場所／人から発信され、しかも膨大な情報量であるためだ。それら全ての情報源と情報量をウォッチするのは難しいし、Twitter上で情報を追いかけるにしても、大量の玉石混交の情報が流れており、なかなか思いどおりに効率よくは必要十分な情報が手に入らない（という人は多いのではないだろうか）。特に論文に載ったばかりの知見や、海外（特に米国）で流れている重要技術情報をキャッチするのは大変である。 筆者も一日に2時間ぐらい
Lean AI 開発論: コードを書く前に機械学習プロジェクトを評価する方法｜Anno Takahiro
10年前に提唱された「リーンスタートアップ」と呼ばれる事業立ち上げの手法がある。リーン（＝無駄がない）であること、仮説検証の速度を最大化する（=学びの量に最適化する）ことを重要視する考え方だ。フィードバックサイクルを早め、コストをなるべくかけず、必要最低限の要素にフォーカスし、素早くスタートアップを立ち上げることで、成功確率が上がるのだと言われている。 裏を返せばこれは、仮説検証に必要ない一切は削ぎ落とすべきだ、と言っている。リーンスタートアップ的やり方の有名な例として、プロダクトを作る前に、そのプロダクトのランディングページだけを作って、メーリングリスト登録やアクセス数などの反応を見ることで、需要があるか確認するやり方がある。実はコードを書くのは初期の仮説検証に全く必要ないのだ。 このように進めれば、たくさんのお金と時間を使ってプロダクトを作って、ローンチしたあとに実は需要がなかった、と
2020年6月24日に、LINEの「Data Labs」のオンライン採用説明会が開催されました。Data Labsは、データ分析や機械学習の活用によって、LINEのすべてのサービスの価値向上を目指す、データの分析・研究を行う専門の開発組織です。説明会の後半は、Machine Learning1チーム/マネージャーの菊地悠氏とフェローの並川淳氏が登壇し、機械学習エンジニアチームの仕事内容や事例を紹介しました。1記事目はこちら Machine Learningチームのミッション 菊地悠氏：Machine Learning1チームの菊地と申します。よろしくお願いします。今日の内容は以下のような順で話をしていきたいと思います。 まず最初にミッションです。多種多様なサービスがあるので、機械学習を適用する領域はいろいろあります。そういう中で、我々のチームは各事業組織から独立しています。LINEのさまざ
ChatGPTを開発したOpenAIが東京に拠点を設けた。そして、著名AI研究者が起業の場所に選んだのも東京だった。ここにきて、なぜ東京がAI業界から注目されるのか。 OpenAIはアジア初のオフィスを東京に開設したと発表。今後、日本語に最適化されたカスタム言語モデルを提供するという。英語以外の言語に最適化されたモデルを開発するのは異例で、おそらく初めてだろう。
Sports Analyst Meetupは、現役スポーツアナリストとスポーツ分析に興味のある方の情報共有イベントです。バスケットボールの選手・コーチとしての経験をもつ藤井慶輔氏が機械学習による攻撃守備戦術の分類についての研究を共有しました。 見てわかるデータしか信用されない現状 藤井慶輔氏：よろしくお願いします。藤井と申します。今回は初参加です。ちょっと雰囲気が掴めてないんですが、よろしくお願いします。タイトルは『バスケットボールの攻撃・守備戦術の自動分類』という話をします。 初参加なのでまず自己紹介から。スポーツ歴は今日お話をするバスケットで、大学時代まで選手をやっていて、大学院の5年間はコーチをやっていました。 大学院時代はこの動画にあるような対人の動作分析を、モーションキャプチャを使ってやっていました。ポスドク時代は、この動画にあるように、体育館で頭と肩に反射マーカーを付けてモーシ
こんにちは、MNTSQというリーガルテックの役員をしている堅山といいます。 今回のエントリでは、機械学習プロダクトにおけるアルゴリズム開発の現場で、スクラム的な手法をとりいれたらうまく行ったよ、という話を紹介したいと思います。あくまで、「的」なので、完全にスクラムなんや、という感じではないのをご了承ください。 さて、MNTSQでは、大量の契約書をNLPや機械学習を用いて解析しているのですが、解かねばならないタスクがたくさんあります。契約書からの範囲抽出（タイトル、契約締結日、契約期間、契約者 etc...）や、第一条、第二条といった条文の構造の分析、各条項のリスク分析など、多岐にわたり、これらのタスクを高速に実装していく必要があります。（詳しくは以下の前回のエントリをみてください！） 解決したい課題 初期の開発においては臨機応変にスケジュールや優先順位を引いていたのですが、進めていくうちに
Pythonプログラマなのに、7年間機械学習が出来ないマンだったけど、Elixir歴６カ月で、AIと対戦できる４目並べをゼロから作れた話 - Qiita
Pythonプログラマなのに、7年間機械学習が出来ないマンだったけど、Elixir歴６カ月で、AIと対戦できる４目並べをゼロから作れた話 はじめに Tensorflowのベータ版がリリースされて、7年。いまでは、機械学習を学ぶ学習コンテンツも豊富にあります。 Pythonでのプログラミングはしますが、機械学習については、学習コンテンツをちょっとやってみた程度でした。興味はあったんですが。 こんな私が、プログラミング言語、Elixirを学んだ事をきっかけにして、自分で、AIと対戦できる４目並べを作る事ができました。 この経験を書いてみます。 「いいね」もらえると、励みになります。よかったら、いいねお願いします。 Elixirとの出会い 2022年7月、Elixirをネットニュースで知りました。 最も愛されてるWebフレームワークのトップPhoenixってなに？Elixirって言語知らないんだ
by Shinya Suzuki 新型コロナウイルス感染症(COVID-19)の影響で在宅勤務(リモートワーク)を採用する企業が一般的になってきた中で、パンデミックが落ち着いていくのに従い、いつ・どのように元どおりの活動を再開していけばいいのか？という方針が各企業で分かれ始めています。Appleは2020年5月の時点で在宅勤務を解除し1週間のうち数日はオフィスで勤務する方針を発表していましたが、The Vergeのレポーターであるゾエ・シファー氏が報じたところによると、Appleで機械学習のディレクターを務めるイアン・グッドフェロー氏が「オフィス仕事に戻ることへの不満」を理由に入社から4年で辞任したとのことで、リモートワークに関するさまざまな意見が寄せられています。 Apple's Director of Machine Learning Resigns Due to Return to
JR東海は11月26日、東海道新幹線の車両を清掃する際、座席が濡れているかどうかをサーモグラフィーカメラで検知できる「座席濡れ検知装置」を開発したと発表した。 従来は、整備スタッフが専用のホウキで1席ずつなでて濡れを確認していたが、新装置なら立ったままカメラを向けるだけで確認でき、スタッフの負担を軽減できるという。 東海道新幹線では、1日当たり100本を超える列車を点検・整備しているが、1列車当たり2席程度が濡れているという。 座席が濡れているか確認するために従来、濡れを検知すると警報音が鳴るホウキ型装置「濡れ検知機能付きホウキ」を使って1席ずつ座席をなでていたが、中腰の作業で体の負担が大きかった。 新装置は、スマートフォンを接続した棒の頂点部に、サーモグラフィーカメラを設置したもの。機械学習を活用し、ひじ掛けの位置を基に座席と座面を自動検出する仕組みを備えた。 スタッフが立ったまま装置を
21世紀でもっともセクシーと言われるデータサイエンスは、18世紀を彷彿とさせる奴隷的な作業によって支えられています(要出典)。その作業とは、データを作る作業(=アノテーション)です。多くの場合、アノテーションは孤独な単調作業の繰り返しです。延々と続けていると、全ての単語にunkとつけるようになる事例も報告されています。つまりつらい！のです。 本記事では、「孤独で辛い」アノテーションを「みんなで楽しく」行える環境を作る方法を紹介します。そのポイントは以下3点です。 Easy: アノテーションを楽に Feedback: アノテーションした結果がすぐにわかるように Gamification: アノテーション結果をみんなで競い合う Overview アノテーションを行う流れは以下のようになります。 Annotation Tool for Easy: アノテーションを楽にするためのツールを用意 In
QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "東工大が無料公開しているPython解説サイト https://t.co/lbgZ0htjou 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、Num… https://t.co/SdGpbaVAlx"
東工大が無料公開しているPython解説サイト https://t.co/lbgZ0htjou 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、Num… https://t.co/SdGpbaVAlx
MLflowの使い方 - 機械学習初心者にもできる実験記録の管理 - - DATAFLUCT Tech Blog
こんにちは！nakamura（@naka957）です。今回はMLflowをご紹介します。 読者の皆さんは、機械学習モデルのハイパーパラメータ調整を手作業で管理し、苦労した経験がないでしょうか。実験記録の管理は大事な一方で、なかなか大変です。 今回紹介するMLflowは、実験記録を簡単に管理できる便利なPythonライブラリです。MLflowは実験管理だけでなく、機械学習プロジェクト全体を管理する様々な機能を提供する非常に人気なライブラリです。一方で、多機能な反面で初心者が最初に導入するにはハードルが高い側面があるのも事実です。 本記事では、MLflowの実験管理の機能に絞り、簡単な例で使い方をご説明します。そのため、初めて使用する方も安心してご覧ください。 では、早速始めていきます。 実験記録の重要性 MLflowとは MLflowのインストール データセット準備 機械学習モデルの用意 M
日本語でのTransformerの活用拡大と、Transformerを超える技術発展が進む 高度なマルチモーダルAIの研究が進展し、何らかのサービス登場する ローコード／ノーコードのAIサービスを採用するケースが増える AutoMLを利用するケースは着実にさらに増えていく MLOpsは引き続き広まり、採用する企業が増えていく エッジデバイスでの機械学習／TinyMLの利用は引き続き拡大する 量子AI／量子機械学習の実用化に向けた研究がさらに進展する 責任あるAIのための原則や規制が各所で制定され続ける なお、AutoML、MLOps、TinyML（エッジデバイス上の小さな機械学習技術）、責任あるAIを支える説明可能性／解釈可能性やデータとプライバシーの規制強化などのトレンドは、数年を掛けて拡大中のため、2019年や2020年で予測した項目と重複しているが、2022年も継続するトレンドとして
この記事はKDDI Engineer&Designer Advent Calendar 2022の16日目の記事です。 はじめに はじめまして、KDDI株式会社の@kazuki_yです。 KDDIではデータサイエンティストのエキスパートとして、お客様向けサービスのデータ分析支援やAI・データ利活用の全社方針策定などの業務を行っております。 コンペ経歴は約2年半でKaggle MasterとSIGNATE Masterの称号を持っています。 本記事では、機械学習初心者がKaggleにどう取り組んで、どのようにKaggle Masterになったのか、Kaggleに取り組んで良かった点を振り返っていきたいと思います。 世の中では度々Kaggleは役に立たない論が出てきますが、私としては昇進もして、賞金も獲得して、技術力も得て、更には自信もついたので超役に立つと思います！本記事が参加への一助になれ
架空の『ポケモン』を機械学習で生み出す技術者現る。ポケモンっぽいけど違う192匹 - AUTOMATON
データサイエンティストのMax Woolf氏は12月15日、AI生成による多数の「架空のポケモン」画像をSNS上で公開した。細部におかしさは見えるものの、意外にも『ポケットモンスター』シリーズのスタイルを捉えた仕上がりとなっている。 今回公開されたのは、192匹にもおよぶ実在しないポケモンの画像だ。すべて、『ポケットモンスター』公式の画像を学習したAIによって生成されている。自動生成だけに、じっくりと眺めると目の位置がおかしかったり、どういう生物なのか検討もつかない謎の存在も散見される。また、どちらかといえば小物やアイテムに見えてしまう画像も。しかし、いずれの画像も同作のアートスタイルをよく捉えている印象で、違和感のないポケモンも生み出されている。緑色のポケモンには植物を感じさせるデザインが施されていたりと芸が細かい。ついつい個々のポケモンのタイプを推察してしまうようなデザインになっている
ML design: 機械学習を確かならしめる「メタ」な枠組み - 渋谷駅前で働くデータサイエンティストのブログ
(By Gufosowa - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=82298768) ここ最近、事あるごとに僕が色々な人たちに提案している概念として"ML design"というものがあります。これは元々"ML Ops"（DevOpsと同じように機械学習のシステム基盤などを包含する考え方）に対して「機械学習モデリングを運用する上で注意すべき点って多いよね」ということで、その注意点をまとめたものを一つの体系として扱えないかという趣旨で僕が勝手に言い出したものです。 言い方を変えると、統計分析に適したデータを集めるための実験計画法(experimental design)があるのと同じように、機械学習に適したデータの集め方やその交差検証などのやり方についてもまとめた計画法(design)が
他にも、入力したデータの学習や評価、解釈、機械学習モデルを開発環境へエクスポートすることなども可能。同社はそれぞれの作業を「わずか5クリック、10秒程度で完了できる」と説明している。 Simple MLで利用したデータはスプレッドシート中に、機械学習モデルはGoogle Driveに保存が可能。他ユーザーと共有もできる。Googleの機械学習ツールキット「TensorFlow」とも連携可能という。 関連記事 AIスゴっ！ 下手な漫画が秒で“プロ並み”に 「ネームだけで原稿完成」の時代に？ AIイラストメーカーを使うと、平面っぽい雑な絵が、立体的で表情も動きのある、描き込まれた美しいイラストに変わった。イラストAIが、「絵を描く」の意味を変えつつある。 「幸せになるには？」に答えてくれるAI「ChatGPT」 日本語でさまざまな質問に回答 Twitterでも話題 米AI研究企業OpenAIは
機械学習サービスを開発 / 運用していく時に役立つ知識をまとめてみた【Python x Azure】 - Qiita
はじめまして、ますみです！ 本記事のターゲットと概要は以下の通りです。 ターゲット / Target 機械学習に携わる研究者 機械学習を用いたソフトウェアに従事する方々（エンジニア / デザイナー / プロマネ / マーケター / セールス / コンサル / 経営者など） 概要 / Abstract 機械学習をAzureというクラウドサービス上で実行 / 運用していく場合に知っておくべき知識の紹介。 ※ 求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020 の23日目の記事です。 また、本記事の作者（私）はAzure Fundamentalの資格を取得しているものの（証明書）、まだまだ学び足りないことがたくさんあります。そのため、もしも「こういうサービスもあるよ！」や「こういうメリットとデメリットもあるよ！」などの
「いちばんやさしいPython機械学習の教本」をビープラウドのメンバーで執筆し、上梓しました。 いちばんやさしいPython機械学習の教本 人気講師が教える業務で役立つ実践ノウハウ 作者: 鈴木たかのり,降籏洋行,平井孝幸,株式会社ビープラウド出版社/メーカー: インプレス発売日: 2019/06/21メディア: 単行本（ソフトカバー）この商品を含むブログを見る 本書をおすすめしたい人 機械学習の基本理論を学びたい人 将来、AIを活用して仕事を楽にしたい人。そのために基礎を学びたい人 いつかはAIを開発してみたい人。そのために基礎を学びたい人 AIリテラシー(AIについて知識を持ち、活用・応用する能力)を身につけていきたい人 Web開発者でAI・機械学習についての知識を身つけたい人 本書執筆の背景 本書のタイトルにある「機械学習」とは、AIを実現するための技術のことです。 機械学習という名
ペパボ研究所 研究員の渡辺（@ae14watanabe）です。 先日、ペパボ研究所（以降、ペパ研）が社内で実施した新卒エンジニア向け機械学習研修についてご紹介します。 ペパボでは毎年新卒エンジニア向けの研修を実施していますが、2020年からその研修の一環としてペパ研が機械学習研修を担当しています。 毎年、その時々の社内外の状況を考慮しつつ研修コンテンツをアップデートしているのですが、今年はChatGPTを始めとする大規模言語モデル（Large Language Model: LLM）の発展と普及の勢いを鑑みて、研修目的やコンテンツを設定し、実施しました。このエントリでは研修の概要について述べるとともに、本研修オリジナルの資料を公開します。 本研修の目的 現在、多くのWebサービスが高度な自然言語処理機能を次々とリリースしているように感じます。我々GMOペパボでも例外ではなく、例えばロリポッ
研究員の渡辺（@watasan） です。 先日、ペパボ研究所のメンバーが社内で実施した、新卒エンジニア向け機械学習研修についてご紹介します。 ペパボ研究所は2020年から、新卒エンジニア研修1の一環として機械学習研修を実施しています2。 今年で3年目となりますが毎年アップデートを重ねており、今年はより「ペパボらしさ」の強い研修となりました。 このエントリでは本研修の目的やコンテンツについてご紹介できればと思います。 本研修の位置付けと目的 GMOペパボ（以降ペパボ）では、新卒入社したエンジニアに向けて、様々な技術要素について「現時点で一番良いやり方」を学んでもらうための研修を毎年行っています2。 フロントエンド、バックエンド、インフラ、セキュリティなど、Webサービスを構築するための技術に関して「現時点で一番良いやり方」を学ぶことが研修全体のゴールとして設定されています。 この新卒エンジニ
こんにちは、AINOWインターンのゆかわです。 早速ですが、機械学習を勉強し始めたばかりの初級者の方は、機械学習に用いられている手法が多過ぎて、どれを知っておいた方がいいのかわからなくなっていませんか？ また、ある程度勉強を進めてきた中級者の方の場合は、実際に機械学習を使うにあたって、どのようにして手法を選択すれば良いか困っていませんか？ 今回はそのような初級者、中級者の方へ向けた記事となっています。 この記事の構成について ①チートシート この記事ではまず、チートシートと呼ばれる、解決したい課題ごとにどの手法を使えばいいかが一目でわかる表を用意しています。 この表は中級者の方の手法選択の手助けはもちろん、初級者の方にとっても機械学習の手法の概観を捉えるものとして役に立つはずですので、ぜひご活用ください。 ②手法選択のコツ 上で述べたチートシートを使って機械学習の手法を選ぶ際の、ポイントを
今回はクラウドにデータベースを新たに構築したり、移行する際に知っておくべき、デジタルトランスフォーメーション（DX）時代のデータベースの「新常識」を3つ紹介しよう。 DXの要請から素早い環境変化に対応するために進むクラウド活用。データベースもクラウドでの構築がスタンダードになりつつある。DXの進展でデータベースに対して、これまでより高い次元の要件が求められてきた。 その1つが、収集するデータや分析・利用形態の多様化だ。例えば小売業などでは、従来の顧客や売り上げのデータをベースに、天候や気温、交通情報、店舗近隣のイベント情報などさまざまなデータを組み合わせて分析したいとのニーズが高まっている。分析結果を迅速な予測に生かしたいとなれば、発生してからタイムラグのないデータの取得も求められる。 高度化する要件に応えるため、データベースは進化を続けている。その結果、データベースにも新たな常識が生まれ
2019年下期のAmazonのアフィリエイトリンクでの、売り上げ部数が多かった上位３冊を紹介します。 私のAmazonアフィリエイトのリンクから売れたものでのランキングなので、その点は留意ください。 2019年上半期の記事はこちらです。 第１位 [第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear) 作者:Sebastian Raschka,Vahid Mirjalili出版社/メーカー: インプレス発売日: 2018/03/16メディア: 単行本（ソフトカバー） Kaggleのチュートリアルの次に読むと良むならこの本と紹介することが多かったので、上半期に続き１位になりました。 年間では150冊くらい買ってもらえました。なかなかすごい。 私は初学者の頃に読んだ本なので、改めて読み直したいと思ってきました。今読むとまた
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
速習！論理レプリケーション ～基礎から最新動向まで～（PostgreSQL Conference Japan 2022 発表資料）
この記事は新野淳一氏のブログ「Publickey」に掲載された「［速報］AWS、JupyterLab IDEベースの新サービス「SageMaker Studio Lab」無料提供を発表、ブラウザで機械学習を学び試せる。AWS re:Invent 2021」（2021年12月2日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、機械学習の実行環境を提供する新サービス「SageMaker Studio Lab」を無料で提供すると、開催中のイベント「AWS re:Invent 2021」で発表しました。 SageMaker Studio Labは、機械学習の実行環境として広く使われているオープンソースの「JupyterLab IDE」をベースにした新サービスです。PythonやR言語などに対応しており、ターミナル機能や
JavaScriptでいきなり機械学習を遊び倒す本
「機械学習って難しいんでしょ…？」と考えている人に向けて、誰でも手軽に機械学習を活用したWebアプリをJavaScriptで開発できるようになる初心者向けのチュートリアル本です。 関連サイト本書の関連ページが用意されています。 NextPublishingオフィシャルWebサイト内容紹介本書は「機械学習って難しいんでしょ…？」と考えている人に向けて、誰でも手軽に機械学習を活用したWebアプリをJavaScriptで開発できるようになる初心者向けのチュートリアル本です。基本的なJavaScriptの構文さえ使えれば、あとはマウス操作で簡単に機械学習モデルを構築できるWebサービスを組み合わせてミニWebアプリを開発する方法について丁寧に解説しています。これまで、興味はあるけど手が出せなかった人や機械学習を活用してみたいと考えている人、JavaScriptでWebアプリが作りたい人など、幅広く
ブログの新しい方向性を模索中。 これまでは、ノウハウを整理して情報提供する形式でブログをやってきました。 しばらくは日記・作業記録っぽくします。 とにかく新しいことを始めようということで、Kaggleを始めました。 機械学習とか、予測モデリングとかいう分野です。 既存のデータを読み込ませて、未知のものを予測します。 Kaggle自体は学習サイトではなくて、問題が出題されてみんなで解いて得点を競うみたいなサイトです。 ここでノウハウを蓄積して、何か作ろうと思います。 たとえば ツイッターの自分のフォロワーさんのデータを読み込ませる未知のツイッターユーザーに対して その人をこちらからフォローした場合に、フォローバックしてくれる確率が何％くらいあるかを予測するみたいなものを作ろうかと思っています。 Kaggleのタイタニック問題を練習中いまは機械学習の初歩中の初歩、タイタニック予測で練習中。 乗
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。中村氏は、Hydra・MLflow・Optunaを組み合わせたハイパーパラメーター管理について発表しました。 ふだんは音声合成と声質変換技術などの音声を用いる技術を研究 中村泰貴氏（以下、中村）：「HydraとMLflowとOptunaの組み合わせで手軽に始めるハイパーパラメータ管理」というタイトルで、東京大学大学院情報理工学系研究科の修士課程2年の中村が発表します。 軽く自己紹介ですが、先ほど述べたように情報理工学系研究科の、猿渡・小山研究室の修士課程2年です。音声合成に関する技術をふだん研究しています。「Twitter」をやっているので、ぜひフォロー
機械学習エンジニア1年目の自分へのおすすめ書籍
はじめに 本記事はBrainPadアドベントカレンダー2021に寄稿しています。 私は現在、株式会社BrainPadで新卒3年目の機械学習エンジニアとして働いています。BrainPadでは福利厚生の一環として、外部の研修や書籍の購入、各種資格の取得に利用できるスキルアップエイドという制度が用意されています。 私はこの制度を主に技術書やビジネス書の購入のために利用しており、機械学習エンジニアとしての能力向上を図っています。本記事では私がこれまでに購入した書籍の中から、機械学習エンジニアとして働く上で参考になったと感じた書籍を振り返っていきます。 機械学習エンジニアの能力とは 現在は多くの企業で、データサイエンティスト、機械学習エンジニア、MLOpsエンジニアといったポジションが作られていると感じます。これらの職種に必要とされる能力は、データの性質や業務への関わり方によって変わると考えられ、一
概要 確率予測とCalibration(キャリブレーション)に関する勉強会に参加したので、学んだことの一部と、自分で調べてみたことについてまとめました。 概要 Calibrationとは Calibration Curve Calibrationの方法 Sigmoid / Platt Scale Isotonic Regression 確率予測に使われる評価指標 Brier Score ECE コード 不均衡データに対するCalibration LightGBMにCalibrationは不要か NNにCalibrationは不要か 追記 : Calibrationの検討について 追記 : 発表スライドについて 終わり techplay.jp 勉強会で使われていた言葉を、自分なりの言い方に変えています。 間違いがありましたら、コメントいただけたら嬉しいです。 Calibrationとは 普通
研究室の情報系の教授が機械学習の最近の話題に追従しておらず、本来は教わる側の学生の自分が教授に教えると言う場面がよくあり、イライラします。こういうことは他の大学でもあることなのでしょうか？に対するMamoru Komachiさんの回答 - Quora
回答 (6件中の1件目) 大学では学生と教授が教え合うのが一般的、という前提で書きます。 少なくとも私の所属していた研究室では教授が主要論文を知らないと言うことは稀でした。マイナーな論文は（当然ながら）学生が教授に教えるということはありましたが、メジャーな論文（例えばAttention is All You Need）は知ってて当然という感じでした。ネットワークの研究室でも、CPUの研究室でも「教授」がメジャーな論文を知らないという状況に出くわしたらちょっとびっくりします。 うちの研究室の専門は情報（理工）系と言えど機械学習が専門というわけではなかったのですが、現代の機械学習は応用範...
「つよいエンジニア」になるためのオープンソースの使い方をはじめ、OSSへの貢献を推奨している企業のエンジニア文化や、コミッター視点からみたOSSの未来について話す「TECH HILLS～まつもとゆきひろ氏と考える つよいエンジニアになるためのオープンソースの使い方～」。ここでキャディ株式会社の河合氏が登壇。機械学習OSSの現状と未来について話します。 自己紹介 河合俊典氏：「機械学習OSSの変遷と未来」と題して発表します。「ばんくし」として活動しています。今、キャディという小さい製造業向けのITベンチャーで機械学習とかデータサイエンスをやるチームを立ち上げて、そこでリーダーをやっています。 前職はM3という医療ITの会社ですが、そこのフェローをやらせてもらっています。私は“ギルド”と呼んでいますが、趣味でそういった開発が好きな人で集まって開発をするチームを組んでいて、そこの主宰もやっていま
機械学習をこれからはじめるにあたって、基礎知識も何もなくはじめても効率的とはいえません。便利なライブラリによって、数学の知識をしっかり押さえる必要はなくなってきていますが、それでも基本的な考え方は覚えておく方がいいでしょう。 今回はそんな機械学習について学べる動画を紹介します。 機械学習入門 01 機械学習とは – YouTube サイボウズ・ラボの中谷さんによる機械学習講座です。 機械学習入門 01 機械学習とは – YouTube 機械学習入門 02 線形回帰を学ぶ 機械学習入門 03 ディープラーニング入門 機械学習入門 04 総まとめ 上記4本構成になっています。 機械学習入門 01 機械学習とは – YouTube 【機械学習】AIとは？ | 機械学習とAIの関係/機械学習入門 – YouTube AIとは、からはじまって各技法について細かく解説されています。 AIとは？ | 機
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」 2020-04-25 [抄訳] What’s your ML test score? A rubric for ML production systemsで紹介した論文の続編があったので読んでみました。 注意)この翻訳記事は原著論文の著者陣からレビューはされていませんShunya Ueta, are providing a translation and abridgment, which has not been reviewed by the authors.Change log2021/02/03ML Test Score を簡単に計算できるGoogl
最近、機械学習を勉強している人が増えてきたので、簡単な機械学習ならわかるよといった人たち向けに将棋AIの開発、特に評価関数の設計について数学的な側面から書いていこうかと思います。線形代数と偏微分、連鎖律程度は知っているものとします。 3駒関係 3駒関係はBonanzaで初めて導入された、玉と任意の2駒との関係です。この線形和を評価関数の値として用います。評価関数とは、形勢を数値化して返す数学的な関数だと思ってください。 この3駒関係を俗にKPPと呼びます。King-Piece-Pieceの意味です。将棋の駒は40駒ありますので、{先手玉,後手玉}×残り39駒×残り38駒/2 通りの組み合わせがあります。この組み合わせは1482通りあります。Cをコンビネーション記号とすると、次のようになります。 $$ 2 \times {}_{39}C_{2}= 2 \times \frac{39 \tim
機械学習を用いた因果推論のための最新 Python パッケージ "CausalML" の紹介 - YuRAN-HIKO
はじめに CausalML とは 現在 CausalML で提供されているもの CausalMLがどういう分野で適用可能か Targeting Optimization Causal Impact Analysis Personalization おわりに 統計的因果推論の関連記事 はじめに 本記事は H. Chen et al. (2020), "CausalML: Python Package for Causal Machine Learning" の紹介記事です。 上記 Chen et al.(2020) は目下研究分野としてもアツい、機械学習を用いた因果推論手法を提供する CausalML という最新の Python パッケージの紹介になっています。この CausalML は Uber Technology のメンバーが開発したパッケージで、著者らは同社のメンバーです。Uplif
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習における解釈性について | メルカリエンジニアリング
Rust の機械学習ライブラリ smartcore に入門してみた。
「機械学習の最先端」を効率的に情報収集！ おすすめのメルマガ3選
LINEの多様なサービスを支える機械学習のプラットフォームと開発事例
有力AI企業が東京に拠点を設けるワケ 「日本は機械学習パラダイス」
バスケの選手とボールの位置データから機械学習で攻撃・守備戦術を分類
機械学習プロダクトで「スクラム」的開発をやってみてわかったこと｜Yotaro Katayama
「リモートワークの解除」が原因でAppleの機械学習研究のトップが辞任か
新幹線の“座席濡れ”検知 専用カメラ開発 JR東海、機械学習活用
孤独でつらい機械学習データの作成を、ワイワイ楽しくする環境を3日で作る - Qiita
2022年の「AI／機械学習」はこうなる！ 8大予測
機械学習初心者がKaggle Masterになって昇進した話 - Qiita
スプレッドシートでGoogleのAIが使える、公式の機械学習アドオン公開 欠損値の予測など可能
「いちばんやさしいPython機械学習の教本」は、機械学習の実践的入門書 - ビープラウド社長のブログ
新卒エンジニア向け機械学習研修2023を実施しました - ペパボ研究所ブログ
新卒エンジニア向け機械学習研修2022〜機械学習と再帰化〜 - ペパボ研究所ブログ
機械学習の手法13選 ー 初級者、中級者別に解説！ | AI専門ニュースメディア AINOW
機械学習モデルはSQLで作る、DXで存在感増すデータベース3つの新常識
2019年 下期機械学習関係売上ランキング - カレーちゃんブログ
AWS、ブラウザで機械学習を学び試せる「SageMaker Studio Lab」を無料で提供
Kaggle始めました（機械学習・プログラミング）
機械学習の煩雑なパラメーター管理の決定版 「Hydra」「MLflow」「Optuna」の組み合わせで手軽にはじめる一元管理
確率予測とCalibrationについて - 機械学習 Memo φ(・ω・ )
安定期に入っている「機械学習OSS」だからこそ貢献しやすい 実績やキャリアにつなげるために大切な、知識や実装の可視化
動画で学べる機械学習/AIまとめ – ツクレル – 自分自身のためにプログラミングしよう
機械学習エンジニアのための将棋AI開発入門その1 | やねうら王 公式サイト