画像認識の最新SoTAモデル「Noisy Student」を徹底解説！
３つの要点 ✔️ その１ ImageNetでTop-1 Acc. 88.4 %を叩き出し、SoTAモデル。おまけに高いロバスト性を兼ね備える。 ✔️ その２ Self-trainingにおいてStudentに強いノイズをかけ、反復的にTeacherとStudentを入れ変える。 ✔️ その３ TeacherおよびStudentのベースモデルはEfficientNet(解説)を使用し、EfficentNet-L2という拡張モデルでSoTA Self-training with Noisy Student improves ImageNet classification written by Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le (Submitted on 11 Nov 2019 (v1), last revised 7
2019年最強の画像認識モデルEfficientNet解説 - Qiita
GPipeは大きすぎてハードウェアのメモリに限界がきてしまっている。 そのため、効率的なモデルが求められる。 2.2 ConvNetの効率性 モデル圧縮やハンドクラフトによる効率的なモデル作成などがあったが、近年ではNAS(=Neural Architecture Search)によるモデル作成が性能が良く、流行っている。 この論文ではモデルの広さ、深さ、解像度をいじるモデルスケーリングを使ってConvNetの効率性を高める。 3. Compound Model Scaling(複合モデルスケーリング) 3.1 問題の定式化 繰り返しになるが、モデルスケーリングはあくまで広さ、深さ、解像度を変えるだけで、 レイヤーのアーキテクチャを変えたりはしない。 そのため、いじるのは広さ、深さ、解像度だけで良くなるが、全てのレイヤーでそれらを最適な値にするのはまだ候補が多すぎるため、この論文では、全て
CS231n Convolutional Neural Networks for Visual Recognition
(this page is currently in draft form) Visualizing what ConvNets learn Several approaches for understanding and visualizing Convolutional Networks have been developed in the literature, partly as a response the common criticism that the learned features in a Neural Network are not interpretable. In this section we briefly survey some of these approaches and related work. Visualizing the activation
CNNのテクニック - 川雲さんの分析ブログ
0. 始めに CNNの各種テクニックをまとめた論文「Recent Advances in Convolutional Neural Networks」を、さらにまとめます。 この論文は、CNNの原理や基本的な構造（VGG, GoogLeNet, ResNetなど）を理解した上で、細かいテクニックを知りたい方が読むと収穫が多いと思います。 私自身が勉強途中であるので、話半分に読んで頂ければ幸いです。 ref) [1512.07108] Recent Advances in Convolutional Neural Networks 以下の図が、論文の構成を端的に示しています。 紹介されている技術は8項目あります。 Convolutional Layer: 畳み込み層 Pooling Layer: プーリング層 Activation Function: 活性化関数 Loss Function:
畳み込みニューラルネットワークの高精度化と高速化
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http
定番のConvolutional Neural Networkをゼロから理解する
Convolutional Neural Networkとは何か CNNで解決できる問題 Convolutional Neural Networkの特徴 畳み込みとは 合成性 移動不変性 Convolutional Neural Networkの構成要素 ゼロパディング（zero padding） ストライド Fully Connected層 Fully Connected層の問題点 Convolution層 Pooling層 TensorFlowによる実装 TensorFlowのインストール CNNでMNIST文字認識する 参考 近年、コンピュータビジョンにおける最もイノベーションと言えるのはConvolutional Neural Networkといっても過言ではない。 コンピュータビジョンの業界におけるオリンピックとも言えるコンペティションがImageNetである。 そのコンペティシ
Deep LearningとConvolutional Neural Network - Stimulator
- はじめに - 前回機械学習ライブラリであるCaffeの導入記事を書いた。今回はその中に入ってるDeep Learningの一種、Convolutional Neural Network(CNN:畳み込みニューラルネットワーク)の紹介。 CNNは今話題の多層ニューラルネット、Deep Learningの一種であり、画像認識等の分野に大きな成果をもたらしています。 まあCNNすごい。本当、画像認識系だと一強といった感じ。 実装経験もあるのでよしなに書いてみようという記事。 追記：2018-10-24 この記事は2014年終盤、Deep Learningに関連するネット記事も数個しかなく、各論文でもCNNに関する理解が分かれていたような時期に、大学生であった筆者が書いた記事です。概念の理解の助けになるよう残していますが、正しくない箇所も後々多く出てくるかと思います。考慮の上、お読み頂ければと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://image-net.org/challenges/LSVRC/2012/supervision.pdf
GitHub - jcjohnson/cnn-benchmarks: Benchmarks for popular CNN models