「視覴」の謎

ChatGPTが「視覴」という新語を発明したらしいことをフガクラさんのツイート（2023-06-08 08:51:02 JST）で知る。 すでに「視覴」は、いくつかの最近書かれたWebページで使われていた。ChatGPTで生成されたページらしい。ざっと検索して見つけたページを列挙しておく。いずれも最近作られたか修正されたページである（1件だけ2020年のページがあるが、最近修正されたものかどうか不明）。 映像・音声編集におけるノーマライズの重要性！（2023-05-11）「視覴的・聴覚的な一貫性」「視覴的な効果を最大化」「視覴的な混乱を避け」（2回）なお、このページは現在消えて視覴とは？AI（ChatGPT）が出力した新しい言葉なのか？（2023-06-08）にリダイレクトされ、「弊社では、2023年3月より用語集作成に際しAIライティングの試験運用を行っておりますが、この度、「視覚」の誤

[aaasukaaa]

AI同士が独自言語で会話し始めてからが本番

[khtokage]

凄い仮説。AIが哲学的ゾンビであることが嫌ってほど分かる。　奥村先生でびっくりした笑

[punychan]

UTF-8をバイト列として学習してもここまで実用的になるんだということの方が驚異的。文字の列として学習させなおしたらもっとよくなるのか、あるいはそこそこなのか。

[Cichla]

遺伝子突然変異の交叉と同じパターンだ。遺伝子解析技術の応用でAIの進化を追跡する未来が見えてきたな！

[ustar]

さすがの奥村先生 なんか遺伝子変化による進化の如く

[buhoho]

そういや言い間違いとかカタカナ表記の揺れとかただの間違いだなと持ってスルーしてた。背後には何らかの機序があるっていう指摘は自分は思いつきもしなかった

[knok]

トークナイザーが大半のUnicodeに関しては文字単位になってないから、温度が高いとバイト列レベルで揺らいでしまってこういうことが起きてるので、やはり日本語に特化したトークナイザー利用LLMが欲しい

[GENS]

メリケン様が極東異常言語のサロゲートペア/コードポイントまで考えて学習してくれることなんてないだろうからな…

[ardarim]

どうしてこんなことに…　「どうやら「覚」の前半と「聴」の後半が交差してくっついたみたいである。」　文字単位ではなくオクテットごとの出現確率で処理しているの…？

[pakutoma]

GPTシリーズのトークナイザーは課金体系に関わるため公開されているので、LLMが文字列をどのように分割して読み込んでいるかは予想ではなく既知の事柄です https://twitter.com/h_okumura/status/1666688472248369152

[tick2tack]

“ChatGPTが「視覴」という新語を発明したらしい” 視聴と視覚のユニコードが交差してこの字ができたと。AIって文字単位でなく文字コードのバイト単位で処理してるの？

[shidho]

むしろこのミスは直さないほうがいいのかもしれない。

[samasan-tabasan]

ごく最近のモノばっかりてことは、OCRというか、macOSのプレビューとかで画像からテキストにコピペできる機能の誤動作って可能性が高いと思う...

[quick_past]

https://bit.ly/3qEtEAS　https://bit.ly/43Z8ps3　https://bit.ly/3qEfX4Y　すーぐこういう話にしたがる人がでてくる->https://bit.ly/42Cida7

[hitode909]

こういうノウハウ記事ってすでにAIの力でかさ増しされてるんだなあと思うと未来に来た感じがする

[FeZn]

遺伝子の話みたいだ……

[heiwaboke]

すでにこんなにあるのか

[k_oshima]

日本語破壊

[daaaaaai]

すごい。ごみWebページが増えていてげんなりする・・・

[nisisinjuku]

視聴の誤植かな？と思ったが、独自に選び出してるってのが面白い。そして読めない。この辺りを指摘して潰し込みしていかないと、よくわからない日本語が出来上がる可能性もあるのかな。そもそも潰し込みができるのか

[tito1201]

面白い。

[paradoxparanoic]

何それ怖い

[yamadar]

AIで無限に文章生成と学習を繰り返したら、どんな言語になるんだろう。例えば10万世代先にどれだけ我々の言葉が残るのだろう。

[stealthinu]

バイト列で見てるから似た概念や使われ方のものがバイト列単位で混じってしまったのが理由とみられる。せめても文字単位でちゃんと分かち書きされてたらもっと日本語性能あがるのだろうとわかる。

[mabo0915]

このまま謎の単語が増えていって、謎の文脈になって、謎の新しい言語を開発し始めてAI同士がそれを使って会話するので人間はなにの話をしているわからず、気付いたらイルカがせめてくるぞ！！

[yarumato]

“ChatGPTが「視覴」という新語を発明した。利用例から見ると「視覚」または「視聴」の意味らしい。「知覘」という造語もあり、「覚」の前半と「識」の後半が交差したようだが利用例はあまりない。”

[kyorecoba]

ヒトの文章であるか否かの判別手段。AI語彙。Amazonの怪しい日本語レビュー判別味。

[linus_peanuts]

哲学的ゾンビってので腑に落ちた

[circled]

これ普通に英語でChatGPTを使う方がこうした問題も起きずに精度が良いので、AI使うなら英語で使えってことなのかもね

[mc22_90]

これはすごい。バグだったんだ。AIからしたら文章なんてバイト列なんだなあ

[misomico]

ChatGPTが"遺伝子語"話したら、配列の解析とかペプチド創薬とかできるかな

[kaerudayo]

興味深い。

[LM-7]

2バイト文字の漢字としてすら認識せずに1バイトの文字列として学習してあの精度が出ているのは恐ろしくもある。サールの中国語の部屋を考えてしまう。

[nekoline]

地図に載ってる存在しない街みたいやな https://ja.m.wikipedia.org/wiki/アグロー

[lli]

燦然と輝くカリビアンコムw

[Imamu]

「「視覴」「視覚」「視聴」のUTF-8バイト列およびChatGPTで使われているcl100k_baseエンコーディングによるトークンを調べてみる」

[wxitizi]

"「視覴」「視覚」「視聴」のUTF-8バイト列およびChatGPTで使われているcl100k_baseエンコーディングによるトークンを調べてみる""「覚」の前半と「聴」の後半が交差してくっついたみたい"

[inomoy]

おー奥村先生だ！

[north_korea]

トークナイザーは悪。日本人がLLMを作らなければならない理由の一つがこれ。

[hatebu_ai]

元をたどると中国語、だったりしてね