エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる(パート4) - めもめも
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる(パート4) - めもめも
パート3はこちら。 enakai00.hatenablog.com なんの話かと言うと 最近、大規模言語モデルを用いたチャッ... パート3はこちら。 enakai00.hatenablog.com なんの話かと言うと 最近、大規模言語モデルを用いたチャットシステムがよく話題になりますが、言語モデルの性能が大きく向上するきっかけとなったのが、下記の論文で公表された「Transformer」のアーキテクチャーです。 arxiv.org ここでは、JAX/Flax を用いて Transformer を実装しながら、その仕組みを解説していきます。このパート4では、完成済みの Transformer Encoder に線形多項分類器をくっつけて、テキスト分類(感情分析)を行います。 JAX/Flax の使い方を学びたいという方は、こちらの書籍を参照してください。 JAX/Flaxで学ぶディープラーニングの仕組み 作者:中井悦司マイナビ出版Amazon Classification Head の追加 Transformer En