海外の技術者が日本語の「文字化け」を本気で解説、日本人顔負けの日本通っぷりが披露される

by Whooym 文字が適切に表示されずに読めなくなってしまう「文字化け」は、海外の技術者の間でも「Mojibake」で通用するとのこと。そんな文字化けの種類について、東京で自然言語処理(NLP)の開発をしているポール・オリーリ・マッキャン氏が解説しました。 A Field Guide to Japanese Mojibake https://www.dampfkraft.com/mojibake-field-guide.html マッキャン氏によると、文字化けは作成した時と異なる文字コードで文書を開くことで発生するとのこと。文章が文字化けすると無意味な文字列になってしまうので読めませんが、どのような文字コードが使われたかによって異なるパターンが表れるので、慣れると使われている文字コードの種類を推測することができるそうです。 ◆UTF-8 UTF-8はインターネット上では最も一般的な文字

[latena]

この方の NLP は神経言語プログラミングではなく自然言語処理。

[primedesignworks]

「アニメ「裏世界ピクニック」に登場した文字化けした看板が、UTF-8をシフトJISで表示したものだということを見抜きました」アニメは全く見ないけどめっちゃ凄いな。リツイート件数からも気づいてない人が多いんでは。

[maketexlsr]

20年くらい前のSJISとeuc-jpと2022-jpとCRLFをぐるぐる回って泣いてた時代に比べると、だいぶ楽になった。Unicodeありがとう(有り難くないこともそりゃあるが)。

[legoboku]

この間、MySQLのデフォルト文字コード(latin1)だとhyphen に見えるけど、UTF8だと不正な文字コードにで詳した。DBダンプのCSVをUTF8で読もうとしたらエラーになったので気づいた。文字コード問題は英語圏でも存在する。

[kijtra]

CSVもそうだけど、ネット決算サービスとかも未だにSJISでPOSTしろとかいうやつもあるんだよね。あと何十年くらい技術者の時間浪費を続けるのかな。

[yamami78651]

mojibakeまじで縺 ｓ縺 。気を抜くとコンパイルやビルドの時に文字化けして、はわわ、てなる。イマココ

[watasinoid]

繧の解説以外に日本特有ってあったかな？

[kenchan3]

最近は文字化けに合わないなと思ってたら今週はwebからdlしたcsvファイルをエクセルで開いたら盛大に文字化けにあって直すのに手間かけられたな。

[yamada_k]

自然言語処理は関係なかった。

[deadwoodman]

"文字化けした中にある『繧』…足利義満が座っている畳の縁が「繧繝縁」です。「これは、元は位が高いことを意味するものでしたが、今日ではひな祭りに使われるひな人形で見ることができます」とマッキャン氏は説明"

[mashori]

なるほどそういう解釈すればいいのか

[rrringress]

いつも雰囲気でデコードしてる

[adsty]

海外の技術者の間でも「Mojibake」で通じるらしい。

[tettekete37564]

ShiftJISの仕様が2バイト文字にバックスラッシュを含むウンコ仕様だったから

[cutplaza]

“マッキャン氏は、この知識を生かして2021年に放送されたアニメ「裏世界ピクニック」に登場した文字化けした看板が、UTF-8をシフトJISで表示したものだということを見抜きました。”

[uchiten]

つい先日あるサイトで久しぶりに文字化けに会い「どうやって直すんだっけ！？！？」となった。テキストデータを開いた時とかはまだあるけど、Webサイトではめったに見なくなった。

[nilab]

海外の技術者が日本語の「文字化け」を本気で解説、日本人顔負けの日本通っぷりが披露される - GIGAZINE

[bean_hero]

昔書かれたamazonのカスタマーレビューがたまに激しく字化けしてるけど何とかならないのかな

[Kmusiclife]

エクセルのCSVはまだShift-jis なんか？

[moons]

髙や﨑が化けるのは「厳密にはSJISに含まれないのにUTF-8に変換するとき、SJIS→UFT8と指定して文字コード変換した時」だと思うので、なんか違和感がある記載だな。https://tools.m-bsys.com/ex/sjis.php CP932等指定する必要がある

[otihateten3510]

QuizKnockの文字化けクイズ好き　https://m.youtube.com/watch?v=NkYfr-Ieko8

[aosiro]

ギガジンってDPZと何か関係あるの？

[nelpesica]

[][]

[itochan]

東京に居るなら「海外の技術者が」ではないでしょ。　＞東京で自然言語処理(NLP)の開発をしているポール・オリーリ・マッキャン氏が解説しました。

[chaz_21]

懐かしい。これらに苦しめられ世代

[Hagalaz]

おもしろーい

[leiqunni]

日本語情報処理のケン・ランディさんかと思った。今はもうUTF-8アルね。LZHで圧縮されたアーカイブの中からシフトJISのREADME.DOCが出てきて読めない、ことはない。Wordが立ち上がるから。メールヘッダの件名はまだ7bit透過で

[mon_sat]

<!-- 美乳 -->

[circled]

90年代は英語圏のネットで『日本人が書き込みすると文字化けするの辛いお』って言われてたのよね。

[tsutsumi154]

繧繝縁って菱餅っぽいな