Probability Calibration手法の紹介 - Qiita
はじめに 近年では、機械学習モデルがいたるところで使われるようになってきています。機械学習モデルの用途は様々ですが、よく使われる用途の一つに分類タスクが存在します。 多くの機械学習モデルでは、クラス分類の際に、各クラスに対して、数値化されたスコアを出力し、最大値を取るクラスを、そのデータの属するクラスとして判別することが多いです。この時、出力値を0〜1の範囲に正規化することもよく行われます。 気をつけなければならないのは、分類精度が高いモデルであっても、必ずしもこのスコアはそのクラスに属する確率を示しているわけではない点です。 値が1に近いほど、そのクラスに属する確率が高く、0に近いほど、そのクラスに当てはまらない確率が高い、ということは多くの場合、間違いないです。一方で、スコアが0.7のデータを集めてきたら、これらのデータが該当のクラスに属する確率が70％であるか、というと、モデルやデー
論文翻訳: Deep Clustering for Unsupervised Learning of Visual Features - MOXBOX #DeepCluster #CNN
\( \def\vector#1{\boldsymbol{#1}} \) \( \newcommand{\argmax}{\mathop{\rm argmax}\limits} \) Mathilde Caron, Piotr Bojanowski, Armand Joulin, and Matthijs Douze Facebook AI Research Abstract 概要: クラスタリングはコンピュータ・ビジョンで広く適用され研究されている教師なし学習方法の一種である。しかし大規模なデータセット上での視覚的特徴量の end-to-end 学習にクラスタリングを適用させる研究は殆ど行われていない。本研究では、ニューラルネットワークのパラメータと、その結果として得られた特徴量のクラスタ割り当てを組み合わせて学習するクラスタリング手法である DeepCluster を提示する。Deep
マイナーな正則化手法「ラベル平滑化」は実は効果アリアリらしい - Qiita
教師あり学習のクラス分類タスクにおいては、既に様々な正則化手法が考案・実用化されています。 例えば、荷重減衰（Weight Decay）、ドロップアウト、バッチ正規化やレイヤー正規化などが知名度高いでしょう。 しかし「ラベル平滑化（Label Smoothing)」というのは、「あ～なんか聞いたことある」とか「何それ？」というくらい、認知度がありません。 なぜでしょう？実装は恐ろしいほど簡単で、ちゃんと 論文もある（※1） んですが。 ※1）「Rethinking the Inception Architecture for Computer Vision」のP6「7. Model Regularization via Label Smoothing」 本稿では、ラベル平滑化の正則化の効果をMNISTを使用して実験し、少なくともこの実験の条件下においては正則化の効果があることを示しています
深層自己符号化器＋混合ガウスモデルによる教師なし異常検知
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Label Distribution Learningを用いた順序を持つ確率分布の学習 - MicroAd Developers Blog
はじめに こんにちは、マイクロアドで機械学習エンジニアをしている大庭です。現在はUNIVERSE Adsというプロダクトで入札アルゴリズムの研究開発および実装を担当させていただいてます。 今回の記事では、Real-Time-Biddingにおけるオークションの落札額、自社の落札確率を求めるタスクである落札予測に対しLabel Distribution Learning(LDL)という手法を試してみたのでその結果をご紹介したいと思います。 落札予測 落札予測とはRTBのリクエスト情報からそのリクエストがいくらで、どのくらいの確率で落札されるのかを予測するタスクのことです。 落札予測ではモデルの出力が確率分布であることが特徴で、これにより予測結果を「落札額の推定」や「ある入札額で入札した場合の落札確率」など複数の用途に利用できます。 落札予測の問題設定やモデルの詳細については以下の記事にまとめ
Online Label Smoothingの実装と評価 - Qiita
はじめに 過学習防止効果があるとされるLabel Smoothingだが、これに改良を加えたというOnline Label Smoothingの論文を見つけたので、tf.kerasで実装して評価して見た。 Online Label Smoothingとは まず、Label Smoothingについて簡単に説明する。 画像分類のタスクにおいては、正解のラベルとしてOne Hotのベクトルを使用する。これは正解のクラスに対応する値だけが1.0でその他は0.0となったもの。 これは当然の様に思えるが、このまま学習させると「過学習を招く」、及び「モデルが自信を持ちすぎてしまう」といった問題があるとして、Inceptionモデルの論文で提案されたのが、Label Smoothingである。 具体的には、学習時のラベルとして「正解のクラスの値は少し割り引いて、減らした値は全てのクラスに均等に分割して加
機械学習における不均衡データの扱い方
注意 この記事は Dealing with Imbalanced Classes in Machine Learning を和訳したものです。 元記事中で class imbalance や imbalanced classification などと表現されている概念は、必要に応じて 不均衡データ などの表現に置き換えています。 はじめに 現実世界の分類問題ではしばしば、不均衡データを扱わざるを得ない状況になる場合があります。不均衡データとは、データセットに含まれるインスタンスのクラスが占める割合が均一にならないようなもののことを指します。不均衡データを用いた機械学習では、評価指標と手法の適切な調整が重要で、これが行われないと、あなたが取り組みたい真の目的に対して無意味な指標が最適化されてしまう可能性があります。 例えば、AとBの2つのクラスがあるとします。クラスAがデータセットの90％を
社内輪講資料 / semi-supervised learning
2020.05.22 社内勉強会にて発表に使用した資料です。
Facebookチームが開発した画像分類にTransformerを利用した効率モデルDeiTを紹介！
Facebookチームが開発した画像分類にTransformerを利用した効率モデルDeiTを紹介！ 2021.01.10 レポート 学術研究, 画像処理 はじめに FacebookのAIリサーチチームから、画像処理にTransformerを利用して効率化を目指した新たなモデル「Data-efficient image Transformers (DeiT)」が発表されたので、簡単にご紹介します。 ●論文 Training data-efficient image transformers & distillation through attention https://arxiv.org/abs/2012.12877 ●Facebook AI Blog Data-efficient image Transformers: A promising new technique for ima
MNIST互換の日本語くずし字データセットでCNNやt-SNEを試す - sw1227’s diary
1. くずし字データセットとは 2. ダウンロード 3. データを眺める 4. t-SNEによる次元削減 5. CNN（by Keras）による識別 6. まとめ・今後のこと 1. くずし字データセットとは 以前から公開されていた日本古典籍データセットでは、デジタル化されたくずし字の画像をダウンロードすることが可能でした。 人文学オープンデータ共同利用センターのニュース（2018/12/08）によると、この日本古典籍くずし字データセットを元に、MNISTデータセット互換のくずし字データセット「KMNIST」が公開されたそうです。詳細はGitHubや以下のリンクを参照していただければ良いのですが、おなじみのMNISTデータセットと同様、10クラスに分類できる28x28のグレースケール画像が70,000枚（訓練用60,000・テスト用10,000）提供されています。また、Kuzushiji-4
半教師あり学習のこれまでとこれから - Qiita
初めまして。新入社員の石川です。 大学と大学院では半教師あり学習を専門にしてきました。今回はそのこれまでの技術と今後についてご紹介します。 半教師あり学習(Semi-Supervised Learning)とは 半教師あり学習は機械学習の手法の一つで、教師あり学習で必要となるデータ形成においてコスト削減を目指します。 まず、機械学習は大きく * 教師あり学習 * 教師なし学習 * 強化学習 の３つが挙げられます。ここでは、教師あり学習と教師なし学習について簡単に説明した後に半教師あり学習について説明していきます。（強化学習は半教師あり学習とあまり関連がないため、別記事を参考にして下さい） 教師あり学習は、学習に必要となる教師データ（および評価データ）について全てのインスタンスにアノテーションと呼ばれるラベル付けの作業が必要です。 例えば、病院に来た患者のレントゲン写真をインプットしたときに
【コード付き】画像用Transformerを利用して衛星画像の分類機械学習モデルを作成する | 宙畑
色々な分野で応用され始めているTransformerの簡単な解説と実際に衛星画像を利用した雲判定機械学習モデルを作成していきます。 宙畑の2020年Kagglerのアンケート記事でも触れましたが、最近は自然言語処理で使われていたTransformerという技術が、自然言語処理以外の分野でも利用されるようになり、精度の高い結果を出すようになりました。 Kaggleランカーの9人に聞いた、2020年面白かったコンペ9選と論文9選 今回の記事では、Transformer や画像を扱うための Vision Transformer(ViT) についての簡単な解説をおこない、実際に ViT を利用して衛星画像の分類タスクを行います。コードはGoogle Colaboratory(GPU) 上で動かすことを想定していますので、すぐに実行できるようになっています。 Transformer Transfor
機械学習_潜在意味解析_理論編 | DevelopersIO
概要 こんにちは、データインテグレーション部のyoshimです。 この記事は機械学習アドベントカレンダー20日目のものとなります。 今回は「潜在意味解析(LSA)」という手法を説明してみようと思います。 今回のご説明の流れとして、「潜在意味解析(LSA)」は「トピックモデル」という概念を背景としているものなので、まずは「トピックモデル」についてご説明しようと思います。 その後に「潜在意味解析(LSA)」についてご説明し、「潜在意味解析(LSA)」を発展させたアルゴリズムである「確率的潜在意味解析(pLSA)」、「潜在ディリクレ割り当て（LDA）」、LDAでよく利用されるギブスサンプリングというサンプリング手法、をご紹介しようと思います。 目次 1.トピックモデルとは 2.潜在意味解析(LSA)とは 3.アルゴリズムの流れ 4.確率的潜在意味解析（pLSA） 5.ギブスサンプリング 6.潜在
お手軽な画像の多クラス分類（データセット収集、学習、推論実行まで） - Qiita
自前のデータセットを使って画像のクラス分類をしたいとき、学習済みモデルを使った転移学習が一番手軽かと思います。 中でもKerasは最もコード量が少なく済むし分かりやすいものです。 この記事は、機械学習のプロジェクトをまだ実装したことが無い、かつチュートリアルを読みたくない人のためのガイドです。 また、データセット収集、学習、推論実行 をそれぞれスクリプトに実装したので、新たなプロジェクトの土台に使えるかもしれません。 colabは使用せずに完全にローカルでやります 完全なコードはこちら 本来は次のチュートリアルとガイドをなぞることで、「画像の多クラス分類」を実装できるようになります。 はじめてのニューラルネットワーク：分類問題の初歩 https://www.tensorflow.org/tutorials/keras/classification?hl=ja モデルの保存と復元 https
ラベル伝播法・拡散法による半教師あり学習で少量のラベル付きデータから分類モデルを作る - Qiita
はじめに こんにちは，(株)日立製作所 研究開発グループ サービスコンピューティング研究部の露木です。 機械学習で一般的な教師あり学習の問題として，正解ラベルの付いているデータを大量に準備しなければならないことが挙げられます。この問題を解決するために，ラベルなしデータを活用することで必要なラベル付きデータの数を削減する半教師あり学習の分野があります。そして，半教師あり学習の一種にグラフベースのラベル伝播法があります。 ラベル伝播法は，あるデータのラベルをその近傍にあるラベルのないデータにコピーする (伝播させる) ことで，少量のラベル付きデータからモデルを学習します。また，「グラフベース」と呼ばれる理由は，ひとつひとつのデータをノード，データの類似度をエッジ (の重み) としたグラフを構成して，このグラフ上でラベルを伝播するからです。このとき，類似度の計算にカーネル法を組み合わせることで非
Chainer2.0でDeep Embedded Clustering - Qiita
データの次元圧縮手法について調べている時に、後輩が次元圧縮 + クラスタリングを同時に学習するディープラーニングの手法「Deep Embedded Clustering」を調べて教えてくれたのでせっかくだからChainerで実装してみようというのがこの記事です。 実装したコードはGithubで公開しています。 https://github.com/ymym3412/DeepEmbeddedClustering Deep Embedded Clusteringとは Deep Embedded Clusteringは「Unsupervised Deep Embedding for Clustering Analysis」という論文の中で提案されているクラスタリングの手法です。 次元圧縮やクラスタリングの手法は他にも以下のようなものがあります。 k-means、混合ガウスモデル(GMM) 高速に
DAY9: 非階層的クラスタリングの3つの手法 - RedandWhiteDays
Pythonの有名な機械学習用ライブラリであるscikit-learnには様々なアルゴリズムが実装されており、ユーザーは実際に実装しなくても簡単にアルゴリズムを呼び出せるようになっている。とはいえ、原理すら知らずに使うのは危険であり、また自分の目的に適した手法を選択するためにも原理の理解は避けて通れない。今回はscikit-learnに実装されている中から、K-Means, DBSCAN, Mean-shiftの三つの手法を簡単にまとめておくことにする。 なおどのようなアルゴリズムが存在するのか、の一覧はCluster analysis - Wikipedia, the free encyclopediaによくまとまっている。scikit-learnの一覧ページ（2.3. Clustering — scikit-learn 0.17.1 documentation）も参考になるだろう。 1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
多値分類における階層構造を利用したマルチタスク学習とその解釈性 / Multi-task Learning for solving hierarchical multilabel classification and its interpretability - Speaker Deck
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter