ChatGPTは文字コードをどのように解釈しているか Unicodeの「日本語認識」「括弧の抽出」「旧字体と新字体の変換」を実験してみた

「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ライトニングトークにはPR TIMES インターンのShun氏が登壇。ChatGPTと文字コードについて話します。 ChatGPTは文字コードをどのように解釈しているか 土屋俊介氏：こんにちは。先ほど、発表が4分だと知った土屋です。PR TIMESというところで、機械学習のインターンをしています。 （スライドを示して）昨今、ChatGPTというものがメチャメチャはやっていますよね。私は使っていく中で、（ChatGPTが）文字コードをどのように解釈しているかが気になりました。なぜそんなニッチな話が気になるのかというと、自然言語処理とWebに関わっている以上、文字コードに関するプログラムをよく書くんです。その関係で気になったので調べてみました。 （スライ

[gabill]

\u72ac\u3068\u732b\u306e\u9055\u3044\u306f\u306a\u3093\u3067\u3059\u304b\uff1f ←こんな感じのユニコードの文字列をChatGPTに突っ込むと、普通に解読して読んでくれる。

[GENS]

間違ってるかもだけど「旧字体の文章」とほぼ同じベクトルにある「新字体の文章」から同じ位置にある1文字を抽出してるのであって、変換マッピングを持ってるわけではない、ってことだと思う。

[T-norf]

ここらへん、トークナイザーの性能に大きく左右されそうで、GPT-3.5とGPT-4のトークナイザーは日本語に関しては別物って判断した記憶あるんだけど理由まで思い出せない。流れ早すぎて、オッサンの脳みそオーバーフローよ

[atsushieno]

旧字体ってUnicode標準のUnihan databaseのkTraditionalVariant拾ってくるだけだから機械学習もへったくれもないよ

[kfly8]

#yapcjapan

[otchy210]

文字コードに頼ってるうちはたぶん限界があって、大量の動画だけを学習させて、その中から文字も言語も全てを学ぶレベルに達したらとてつもないことになると思う。その時一番強いのは YouTube 擁する Google かも。

[skythief]

これなー。与えたテキストから漢字と役物だけ抜いて欲しいとかやりたいのにな。

[tourmalinecatseye]

韻を踏ませる実験でわかったんだけど漢字には読み方が複数あるケースを理解してないんだよな…

[kastro-iyan]

日本語かどうかチェックするツール作らせたら初めは平仮名片仮名しか日本語としてくれてなくて少し残念だった

[kkobayashi]

AIってざっくりした回答はできるけどこういう細かい文字コードの話は苦手そう

[fog-og-frog2]

旧字体と新字体で思い出したんだけど、台湾語を放り込んでたら訳はできるけど、明らかに繁体字に引っ張られてるのよ/タイ語とか合字前提のコード体系ってそれだけでトークン消費するし難しいなってふと思った

[mr_mayama]

日本語にない漢字を解答に使ってきて指摘したら「それは日本語です」って言い張ってやばかった。