日本語入力だとトークンはどう扱われるんだろ。都度翻訳して回答を作り変換？その場合トークンは1つになるのか3つになるのか。

marilyn-yasu のブックマーク 2023/03/22 19:36

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4733974108181076964/comment/marilyn-yasu" data-user-id="marilyn-yasu" data-entry-url="https://b.hatena.ne.jp/entry/s/isobe324649.hatenablog.com/entry/2023/03/20/215000" data-original-href="https://isobe324649.hatenablog.com/entry/2023/03/20/215000" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fisobe324649.hatenablog.com%2Fentry%2F2023%2F03%2F20%2F215000" data-user-icon="/users/marilyn-yasu/profile.png">GPTの仕組みと限界についての考察（１） - conceptualization</a><br><p style="clear: left">日本語入力だとトークンはどう扱われるんだろ。都度翻訳して回答を作り変換？その場合トークンは1つになるのか3つになるのか。</p><a class="datetime" href="https://b.hatena.ne.jp/marilyn-yasu/20230322#bookmark-4733974108181076964"><span class="datetime-body">2023/03/22 19:36</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

GPTの仕組みと限界についての考察（１） - conceptualization

isobe324649.hatenablog.com2023/03/21

GPT4が登場してChatGPTが盛り上がってますね。本記事は、GPT（を支えるTransf ormerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になりま...

1518 人がブックマーク・75 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

GPTの仕組みと限界についての考察（１） - conceptualization

はてなブックマーク

公式Twitter

はてなのサービス