サクサク読めて、アプリ限定の機能も多数!
turu_crane のブックマーク 2023/04/25 14:56
ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく - nikkie-ftnextの日記[機械学習][日本語]2023/04/25 14:56
このブックマークにはスターがありません。 最初のスターをつけてみよう!
nikkie-ftnext.hatenablog.com2023/04/25
はじめに これも1つの願いの鍵探し1、nikkieです。 先日tiktokenデビューし、ChatGPTのAPIを呼び出さずに入力トークン長が分かるようになりました。 その中で、ASCII以外の文字(例:日本語)については、トーク...
30 人がブックマーク・4 件のコメント
\ コメントが サクサク読める アプリです /
turu_crane のブックマーク 2023/04/25 14:56
このブックマークにはスターがありません。
最初のスターをつけてみよう!
ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく - nikkie-ftnextの日記
nikkie-ftnext.hatenablog.com2023/04/25
はじめに これも1つの願いの鍵探し1、nikkieです。 先日tiktokenデビューし、ChatGPTのAPIを呼び出さずに入力トークン長が分かるようになりました。 その中で、ASCII以外の文字(例:日本語)については、トーク...
30 人がブックマーク・4 件のコメント
\ コメントが サクサク読める アプリです /