気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
qiita.com/sergicalsixエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント2件
- 注目コメント
- 新着コメント
sh19910711
"Command R+の日本語の応答速度が本当に速いのか、なぜ速いのか / 日本語モデルであるELYZAやllm-jpのモデルよりもトークン数が少ない / Cohereの論文を以前調査した際に、LLMの効率化や最適化の論文が多かった"
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Command R+はトークナイザーもすごかった - Qiita
はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度... はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
qiita.com/sergicalsix
qiita.com/sergicalsix
qiita.com/sergicalsix
qiita.com/sergicalsix
anond.hatelabo.jp
biz-journal.jp
gothedistance.hatenadiary.jp
store-jp.nintendo.com
www.watch.impress.co.jp
www.itmedia.co.jp
www3.nhk.or.jp
pc.watch.impress.co.jp
forest.watch.impress.co.jp
www.itmedia.co.jp
www.itmedia.co.jp
gigazine.net
www.gizmodo.jp
yaoya2020.hatenablog.com
texal.jp
totalnewsjp.com
qiita.com/flee_rife
texal.jp
2024/04/30 リンク