自然言語処理の王様「BERT」の論文を徹底解説 - Qiita

オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2018年10月に登場して、自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、GLUEベンチマークでは人間の能力が12位(2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解にはTransformer[Vaswani, A.

[sakaiwa]

“TはTransformerのEncode”

[misshiki]

“流れ: - 忙しい方へ - 論文解説 - まとめと所感 - 参考”忙しい方へでざっくりと分かるのよい。ちょうどよいボリューム感で読む気になる。

[bluescreen]

ちゃんとわかっていないので勉強すること。