絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama

UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語

[mattn]

今までマルチバイト関連で全く動いてくれなかった英語圏の人が絵文字の使用可否をトリガにして動き出してくれたのは良い事すね。

[sisya]

かなり長い間、日本語中国語の２バイト文化圏が文字コードで困っていてもアルファベット文化圏はいまいち反応が悪かったのに対し、自分達がマルチバイトを使い出した途端動き出すというのは現金というかなんというか

[anon-c]

Unicodeが普及したのは日本のJKのおかげ

[fusionstar]

日本でも Shift_JIS や EUC みたいなレガシーキャラクターコードセットが一掃されつつあるしよいことづくめだな。

[REV]

「文字化けするから機種依存文字（ローマ数字、マル数字）は禁止」というネットマナーから早幾年

[secseek]

絵文字なんかいらないだろ、と思ってたら、まさかこんなことになるとは。しかし外国でも使われてるんですね

[ockeghem]

これ、おそらくUTF-8でもDB内で3バイトまでに対応していたものが4バイト(BMP外の文字)に対応が進んでいる理由の一つではないかと

[rjge]

“ある意味、ここ数年でコンピュータの歴史上で初めて、英語圏ですらASCIIの範囲内では日常的に文字が足りないという状況になったともいえる” 実害がある状況じゃないとなかなか物事って動かないよね

[netcraft3]

ガラケー時代の絵文字は３キャリアで互換性が無くて（特に拡張絵文字）プログラマ泣かせだったけど、Unicode絵文字はそんなことになっているのか。

[Fushihara]

肌の色みたいなより高度(で面倒)な技術も「小学生の娘が自分の絵文字が使えないと泣いています」と開発者(と、マスコミに)言えば最優先で対応してもらえるしな

[kmaebashi]

うーん、でも、Unicodeには当初から合成文字があるので、最初から1文字固定長を目指していたわけでもなく、ではいったい何を目指していたのかと思うとよくわからなくなるのです。

[inoueyuworks]

絵文字によって全てが utf-8 に集約しつつある、という話。

[tailtame]

2017。UTF-16…(｀・ω・´)

[uehaj]

絵文字がある種のUnicodeバグを世界から一掃しつつある件について

[suganokei]

絵文字によるunicode革命の震源地としての日本。世界の中での日本の位置を確認するために有用な記事。ただしITの基礎知識がないと難しいでしょう。

[adatom]

“UTF-8”

[joint1]

わろす。この内容とは関係ないけど、絵文字の問題悩まされたな。

[kat0usi]

“絵文字は後からUnicodeに収録された文字としては異例に利用頻度が高いので、〜、結果として世界的にプログラマの認識の改善とプログラムの品質向上に貢献することになった”

[causeless]

"@Vixeur 絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama｜no…" via https://twitter.com/Vixeur/status/930010971258503169

[luccafort]

UTF-16とかUTF_32ってなんなのだろう？とは思ってたけどこれ読んで違いがわかった、なるほど。非常に有用だこれ。というのを今更読んだ。でも絵文字は死滅してほしい。文字じゃねえもん。

[Gururi]

「Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ」IPv4みたいな(´・ω・`)

[natroun]

面白い。絵文字、そんなに広まっていて、そんな副作用をもたらしていたのか。／さすがに４バイトあれば足りなくなることはないんかねえ。

[hhungry]

マジかよ???????

[mory2080]

海外の漫画&アニメファンが日本語習得するのに似てる。

[takatama]

絵文字のバグを直すと必然的にマイナーな漢字などもきちんと扱えるようになってしまう。これは絵文字の普及の意図せぬ副作用と言えるだろう

[vanbraam]

"ほとんどの絵文字は他の最近採用された文字と同じくUTF-16では4バイト必要なのだが、どの言語でも極端に利用頻度が高いので、急に世界中の誰もがサロゲートペアについてきちんと考えざるを得なくなった"<なるほどなぁ

[AmaiSaeta]

ここらへんの話が面白いと思う人には、ちょっと古い本だけど「ユニコード戦記 文字符号の国際標準化バトル」って本オススメ。Unicodeの闇っぷりにゲロ吐きたくなってくるけど。

[Hamukoro]

昔のYahooトップはEUCで書かれていてヘッダにコメントアウトされた漢字がひょっこりと貼り付けられていたものだ…

[K2ICE]

"歴史上で初めて、英語圏ですらASCIIの範囲内では日常的に文字が足りないという状況になったともいえる。しかもその足りない文字はよりによってUTF-16では処理がトリッキーなサロゲートペアばかりなのである。"

[blueribbon]

「絵文字は後からUnicodeに収録された文字としては異例に利用頻度が高いので、いろいろなシステムにある種のストレステストを強いることになり、結果として世界的にプログラマの認識の改善とプログラムの品質向上…」

[anenpenmen]

おもしろい話だった。やっぱり自分から距離が近くないと他人事なんだよね。

[bobbyjam99]

世界のみなさん マルチバイトの世界にようこそ

[nokkojiro]

絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama｜note Tags: from Pocket November 14, 2017 at 07:19PM via IFTTT

[arajin]

“絵文字は後からUnicodeに収録された文字としては異例に利用頻度が高いので、いろいろなシステムにある種のストレステストを強いることになり、”

[poppen]

絵文字のおかげでStellarisとかHoI4もマルチバイト文字使えるようになったかと思うと胸熱(本当にそうかどうか知らないけど)

[mikage014]

いい話だった。応用が利きそう。

[T-norf]

これは面白いね。日本人の遠謀ってことにしとこうw

[hevohevo]

面白いなぁ。UTF-16が欠点だらけ（UTF-8の方が良い）とか、MySQLの自称utf8とか中にちりばめられたお話も含めて面白い。

[myrmecoleon]

絵文字すごい。世界中のプログラマさんおつかれさま。

[tanimiyan]

何事も必要に迫られないと行われないし、何がきっかけ突破口になるかわからない、という話