歴代の自然言語処理モデルのスコア推移 - Qiita

概要 2013年から2022年に公開された歴代の自然言語処理モデルをGLUEスコアに沿って整理します。 背景 過去に生み出された革新的な技術は、日々、新しいアイデアや技術が公開される現在でも使われています。これまで、自然言語処理界において、ターニングポイントとなったであろう技術を時系列に振り返ろうと思いました。 自然言語処理モデルについて 自然言語処理モデル活用例 一概に自然言語処理モデルと言っても、それが一体何ものなのか理解し難いと思います。 現代社会で自然言語モデルが活用されている事例には以下のようなものがあります。 自動翻訳 ：ブラウザの翻訳機能などで、自動的に翻訳してくれます。 文章自動生成 ：文章を自動で要約したり、適当な文章を生成してくれます。 チャットボット：企業の問い合わせサイトなどで、質問した内容に答えてくれます。 自然言語処理モデルとしては、直接、翻訳精度上げるよう

[sh19910711]

ELMoとかBERTってセサミストリート由来か / "2013年にTomas MikolovによってWord2Vecが公開 > 自然言語処理界の技術革新が活発化 / 次のターニングポイントは、2018年に登場したBERT > セサミストリートのキャラクターの名前から"

[misshiki]

“これまでのモデルのスコアをグラフ化しました。 時系列にグラフ化することで技術の進歩が良く分かります。”

[mysql8]

人間を超えてこれ以上スコアを上げる意味過学習になりそ 2020くらいからサチってる