昨日公開された GPT-4o は性能だけでなく処理速度の点からも注目を集めています。その速度に寄与しているのは、モデルの処理速度の改善だけでなく、日本語処理の改善も大きく関わっていると考えられます。 実際、OpenAIのサイトによれば、日本語は平均して 1.4 倍の効率で(1.4倍少ないトークンで)表せるようになったとされています。 これは、GPT-4o が GPT-4 に比べて日本語をより 語彙 (vocabulary) に含むようになったからです。語彙とは LLM における自然言語の処理の最小単位で、1つの語彙が1つの数値トークンに変換され、それがモデルに突っ込まれるという仕組みです。 ところで、GPT-4o では 『風吹けば名無し』 という文字列を 1 つの語彙として扱うのをご存知でしょうか。 このツイートで紹介されているように、GPT-4o では、ネットで多数出現するこういったフレ
We have long heard that houses in Japan are expensive. Then, all of a sudden, someone tells you that you can buy a cheap house in Japan. Imagine the waves such a statement will cause. The same thing happened with the Akiya phenomenon in Japan. Akiya, or abandoned cheap houses, has always existed in Japan. However, lately, this has become a buzzword, especially among foreigners, both in and out of
The Japanese Kanji for ‘Circle‘ is 円. Please note that 円 is also the Knaji for ‘Yen‘ (Japanese currency). The kun’yomi (Japanese reading) pronunciation of the Kanji 円 is “maru-i” (まる-い), and the on’yomi (Chinese reading) pronunciation of 円 is “en” (エン). The Kanji 円 appears in 703 Japanese names. However, in names, it is pronounced as ‘Tsubura‘ (つぶら), ‘Nobu‘ (のぶ), ‘Madoka‘ (まどか), or ‘Mitsu‘ (みつ). T
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く