サクサク読めて、アプリ限定の機能も多数！
wata88 のブックマーク 2024/02/18 10:30
このブックマークにはスターがありません。 最初のスターをつけてみよう！
github.com/karpathy2024/02/17
Minimal, clean code for the (byte-level) Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization. The BPE algorithm is "byte-level" because it runs on UTF-8 encoded strings. This algor...
19 人がブックマーク・1 件のコメント
＼ コメントが サクサク読める アプリです ／
このブックマークにはスターがありません。
最初のスターをつけてみよう！
GitHub - karpathy/minbpe: Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
Minimal, clean code for the (byte-level) Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization. The BPE algorithm is "byte-level" because it runs on UTF-8 encoded strings. This algor...
19 人がブックマーク・1 件のコメント
＼ コメントが サクサク読める アプリです ／