エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Hugging Face Courseで学ぶ自然言語処理とTransformer 【part2】
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Hugging Face Courseで学ぶ自然言語処理とTransformer 【part2】
はじめに この記事はHugging Face CourseのHow do Transformers work?~Bias and limitationsあたりの内... はじめに この記事はHugging Face CourseのHow do Transformers work?~Bias and limitationsあたりの内容をベースにTransformerについて主要なポイントの基礎理解を目指してまとめたものになります。 一個前の記事はこちら Transformer歴史ハイライト 2017年 6月:"Attention Is All You Need"[1]という目を引くタイトルの論文で、初めてTransformerモデルの提案がなされた。こちらは翻訳タスクに焦点を当てたものになっている。 2018年 6月:学習済みTransformerモデルとしてGPT[2]が初めて登場し、ファインチューニングによる様々なNLPタスクへの適用がなされた。 10月:BERT[3]の登場。かなり大きいサイズの学習済みモデルで、文章要約タスクなどで良い結果が出るよう設