画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、

[stealthinu]

Transformerの構造をほぼそのまま使って画像認識。Transformerには画像の位置情報を有効利用するような構造が埋め込まれてない分不利だと思うのにSOTAになってる。

[sds-page]

GPT-3もそうだけど巨大なデータセットと巨大な計算機で解決してるから個人だと自前で実装できないしクラウドサービスでAPI利用みたいな形になるんかな

[hachiking]

CNNのパーツの有無は理解するけど、相対的な関係を理解してないって部分を、Enbeddingと位置エンコーディング、アテンションで何か改善されたのかなぁーみたいな浅い理解。

[bigchu]

State of The Art たっせい

[qtamaki]

わからん

[kowa]

“SoTA”って訳さないでほしい。ググれないし最高性能で十分しょ。

[misshiki]

通称Vit。“Transformer[拙著解説]をほぼそのまま画像分類タスクに用いることで、ImageNet/ImageNet-ReaL/CIFAR-100/VTABでSoTAモデルと同程度またはそれを上回る性能を達成した”とのこと。

[millfi]

“同じ行/列の位置エンコーディング同士は似た値になるように学習されている”画像で画像検索するときに使えそう

[knok]

当たり前だけどNSPに相当するものはないのね

[urd0401]

アカデミアの話だった

[dgwingtong]

結局何が出来るのだ?

[degage122]

“SoTAを上回る性能を約115115の計算コストで得られたよ“事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ“

[mn_kun]

とうとうNLP以外にもTransformerが使われだした。

[imaizm]

[ML/DL]

[h_taiji]

よく読む