機械学習システムの設計パターンを公開します。
メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
機械学習システムにおける「技術的負債」とその回避策 - Qiita
はじめに 空前のAIブームだった2017年、Yahooニュースでは毎日のように『〇〇が△△のAIを開発』のような見出しが目立ちました。2018年は『AIの運用』の時代になるとも言われています。 しかし、AI（機械学習）を載せたシステムの開発・テスト・運用の方法は2018年4月現在、まだ確立されていない分野です。 今回は、技術的負債という観点から、機械学習システム特有の課題点とその回避策のヒントまとめたGoogleの論文 Machine Learning: The High Interest Credit Card of Technical Debt (2014) を翻訳します。Google翻訳+軽い手作業ですのでご留意を。 ちなみにタイトル『機械学習：技術的負債の高金利クレジットカード』の意味は、機械学習システムがまるで高金利のクレジットカードのように、気づかないうちに技術的負債を蓄積して
ただの微分幾何学徒だった僕がデータサイエンスを何故/どのように勉強したのか - Obey Your MATHEMATICS.
こんにちは。久々の投稿です。 僕のTwitterをフォローしてくれている方はご存知かと思いますが、4月から機械学習エンジニア/データサイエンティスト(見習い)として働く事が決まりました。 今日六本木の某社から正式に内定を頂きましたが、間違いなくTwitterのおかげでありTwitterこそ就活の全てであると確信した次第でございます— マスタケ (@MATHETAKE) 2017年2月23日 良い区切りですので今回はタイトルの通り、ただの純粋数学の学生だった僕がデータサイエンスの勉強を何故/どのようにしてきたのか、についての思い出せる範囲で書こうと思います。 Disclaimer: この記事は基本的に、"What I did" に関する記事であって決して "What you should do" についての記事ではありません。そんな勉強方法おかしいとか、こうすべきだ、みたいなマサカリは一切受
機械学習モデルの実装における、テストについて - Qiita
数あるフレームワークに付属するExample、機械学習モデルを実装してみた、という話。これらに共通して言えるのは「テストがない」ということです。 機械学習のモデルだって、アプリケーションに組み込まれればプロダクションコードの一部です。テストがない実装を本番環境に組み込むか？というと通常そんなことありえないと思います。 (スタジオジブリ 紅の豚 より拝借) 忘れられがちな点ですが、機械学習モデルは「リリースした瞬間」が最高精度になります。なぜなら、リリースした瞬間こそがその時点で手に入るフルフルのデータを使って鍛え上げたモデルであり、それ以降はどんどん未知のデータが入ってくるためです。 そのため、モデルの精度、また妥当性をいつでも検証できるようにしておくというのはとても重要です。これは通常のコードにテストをつける理由と同等で、つまり機械学習モデルだからと言って特別ではないということです。 本
Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記
こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
“人工知能”のための統計力学
変わった点があれば、跡形もなく消えるが、ホクロ切除に踏み切るまでは、キツかった。 施術後は暫く化粧などNGなので、悪性かどうかを診断しているようなら、心配はありません。 出血しては変だと思う。しかし、ほくろではないかもしれません。 しかし、顔だちやファッションの前に、いくつか麻酔をした。特異な思考や発言は、自分の容姿に執着して貰い終了。 飲み薬も必要らしく、アプローチ方法も値段も変わるそう。シミは1週間ほど貼ればよいのかと思い、思い切って自ら聞いて相談します。 ほくろが円形に近く、周囲との境目がハッキリしていたイメージとは程遠く、正解もよく分からなかった。 しかしどうしても理想に近づくためには、ダーモスコープという機械を使って、紙芝居に集まる子どものようなものがあった。 優しい世界に馴染むためには、その話題に釘付けだった。母の若い頃の写真を見ると、顔だちやファッションの楽しさに目覚め、どん
ビジネス実務の現場で有用な統計学・機械学習・データマイニング及びその他のデータ分析手法10+2選（2016年版） - 渋谷駅前で働くデータサイエンティストのブログ
そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定（t検定・カイ二乗検定・ANOVAなど） t検定 カイ二乗検定 ANOVA（分散分析） その他の検定 重回帰分析（線形回帰モデル） 一般化線形モデル（GLM：ロジスティック回帰・ポアソン回帰など） ロジスティック回帰 ポアソン回帰 正則化（L1 / L2ノルム
あなたがうつ病で退職する確率は？ 機械学習で算出・レポートする新サービス
社員の数カ月後の退職確率やうつ病発症確率を機械学習で予測する――そんなサービスをITベンチャーのSUSQUE（東京都渋谷区）が10月1日から提供する。 従業員の勤怠データから「働き過ぎ」などの状態を判断・通知するクラウドサービス「サブロク」を活用。同サービスで収集したデータや、企業の従業員情報などをクラウド上で分析し、機械学習を用いて1人1人の退職確率や精神疾患の発症確率を算出。ケアの優先度が高い従業員から結果をレポートする仕組みだ。 同社によれば、精神疾患の患者数は年々増加傾向にあるものの、従来の勤怠管理システムにはそれらの発症率を分析する仕組みがなかったため「利用する企業側が勘に頼り『◯◯な人は退職しやすい』『○○な人は精神疾患になりやすい』といった大雑把な分析を行っていた」という。 新サービスでは、企業風土や従業員の行動、属性情報を定量化し、機械学習を通じて「これまで人の目では気づけ
日本声優統計学会
日本声優統計学会は声優，声，アニメ作品，ラジオ，アニメソング，アニメイベント，アニメスタッフ，及び声優ファンにまつわる諸現象に対して数理統計的・機械学習的アプローチを用いて分析する集団です． 日本声優統計学会は正式な学会ではなく，同人活動を行うサークルです． 独自に構築した音素バランス文，及びそれらをプロの女性声優 3 名が 3 パターンで読み上げた音声です． (2020.11.01) あなたがライセンスがある程度自由な音素バランス文やその読み上げ音声を必要としている場合，声優統計コーパスではなく， JVS コーパスの利用を検討してください．より詳しい説明はこちらの文章をお読みください． 更新履歴 詳細な変更履歴はこちら (ChangeLog.md) をご確認ください． 2021年02月28日 : つくよみちゃんコーパスへのリンクを追加． 2020年11月01日 : JVS corpus
カーネルとは直感的に説明するとなんなのか？ - Qiita
How to intuitively explain what a kernel is?に対する回答がわかりやすかったので和訳 まずは質問の意図から。 質問者は、「カーネルとは直感的に説明するとなんなのか？」を聞いています。それに対する回答のひとつが、上記のリンク先です。 和訳 カーネルとはふたつのベクトル $\boldsymbol{x}$ と $\boldsymbol{y}$ の内積を(たいていはとても高次元の)特徴空間で計算する方法であり、これがカーネル関数が時々「一般化内積」と呼ばれる理由です。 $\mathbb{R}^n$ 上にあるベクトルをなんらかの特徴空間 $\mathbb{R}^m$ へ写す写像 $\varphi:\mathbb{R}^n \rightarrow \mathbb{R}^m$ があるとします。すると、その空間での $\boldsymbol{x}$ と $\bol
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
Power Iteration Clustering - tsubosakaの日記
岡野原さんのtweetで紹介されていたPower Iteration Clusteringという文章分類の手法に関する論文[1,2]を読んでみた。 背景 n個のデータX={x_1,...,x_n}が与えられたときに各データ間の類似度s(x_i,x_j)を成分に持つ類似度行列Aを考える。 また次数行列としてAのi行目の値を合計したd_{ii} = \sum_j A_{ij}を対角成分にもつ対角行列をDとする。 このときW:=D^{-1} Aをnormalized affinity matrixと定義する。簡単のためWはフルランクであるとする。 この行列はすべての要素が1となる固有ベクトルをもち、この時固有値は1となる。実はこれが最大固有値である(行列Aの行和が1となること+Gershgorin circle theorem(en)より導かれる)。また、行列Wの固有値を1=λ_1>=...>=
頻出パターンマイニング
1 2 3 4 2 X Y X Y 5 X X X X i X i 6 7 8 9 10 X Y Ti 11 12 R.Agrawal and R.Srikant "Fast Algorithms for Mining Association Rules", VLDB 1994 minsup minconf minsup minconf 13 minsup 14 15 minsup minsup 16 minsup minsup 17 18 19 minconf 20 21 minconf minconf minconf 22 23 24 J.Han, J.Pei, and Y.Yin “Mining Frequent Patterns without Candidate Generation” SIGMOD 2000 minsup minsup 25 26 27 28 29 30 31
データ分析の「7つの進化のステップ」を今一度おさらいしてみる - 渋谷駅前で働くデータサイエンティストのブログ
2016年最初の記事ということで、もはや1月下旬に差し掛かりつつありますがこちらでは改めて、あけましておめでとうございます＆本年もよろしくお願いいたします。 で、新年一発目のお題は。。。実は似たようなお題で過去にも記事を書いていますが（笑）、年も改まったことなので今一度備忘録的におさらいしてみたいと思います。観点としては、どちらかというと「これからデータ分析のカルチャーを職場に導入していくとしたらどうやってステップアップさせていくか」みたいなところです。なお過去記事はこちら。 この辺の話題を踏まえながら、過去記事リンクのオンパレードで恐縮ですがちょっと一席やってみます。なお以下に挙げる「ステージ」はあくまでも一例であり、業界によってはもっと高度な方向に展開させられる（orもっとプリミティブなレベルに留まる）こともあるので、参考程度に見てもらえればと。 特にここでは「まだデータ分析を始めてい
米Yahoo！が年齢・性別・居住地域など13TB超の巨大データを機械学習用に無償提供開始 - GIGAZINE
By Bob Mical 人工知能を実現する技術の1つである機械学習は、数多くのデータを解析することで一定の規則やパターンを抽出してアルゴリズムの生成を行います。その学習段階で与えられるデータは数が多いほど学習の精度が高まるとも言えるわけですが、個人はもちろん、研究機関においても質と量をクリアするデータを確保することは難しいもの。そんな機械学習に活用できる巨大データセットの提供開始をアメリカのYahoo！が発表したのですが、そのデータは1000億件を超えるという超巨大なものになっているようです。 Yahoo Releases the Largest-ever Machine Learning... | Yahoo Labs http://yahoolabs.tumblr.com/post/137281912191/yahoo-releases-the-largest-ever-machin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習で泣かないためのコード設計
あなたの業務に機械学習を活用する5つのポイント
Spark MLlibではじめるスケーラブルな機械学習
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
