全ての開発者が知っておくべきUnicodeについての最低限の知識

2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnicodeを使うために必要な知識をエンジニアのニキータ・プロコポフさんが解説しています。 The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!) @ tonsky.me https://tonsky.me/blog/unicode/ Unicodeの歴史と利用率の推移をまとめたグラフは下図の通り。2000年代後半から急速に普及が進んでいったこ

[canadie]

Unicode、功績は偉大であるけど波ダッシュの形間違えちゃったり（全角チルダ問題の原因）CJK問題ほったらかしで「ビャンビャン麺のビャン」を登録しちゃったりええ加減にせいと思うところも多い

[sytkm]

絵文字のおかげでUnicodeが様々な場所で対応されるようになって、その恩恵を受けて日本語も使えるようになったので絵文字には感謝…。まあ、自分で使わないものにわざわざ対応しないよねとは思う。

[rryu]

最大のコードポイントが0x10FFFFなのはUTF-8で4バイトに収まる範囲に縮小したからなのだが、それでもまだ十分空きがあるのでUCS-4のやりすぎ感がすごい…

[strawberryhunter]

ロシア語とブルガリア語の間にも中華フォント的な問題があるのか。／UTF-8が1992年に発明されているからASCIIに2バイト使わなくて済むけど長らく普及しなかったのは漢字に3バイト使えないハードウェア性能のせいよね。

[EzoWolf]

"Unicodeの考案時には十分に思えた文字数の制限" 制定の時点で16bitでは無理という反対意見があったのだが、欧米人に押し切られたと聞いている。

[sisya]

こうしてみるとCJK文字がいかに膨大かがわかる。表意文字という文化そのものが世界的には特異なのだなということを実感させられる。

[hevohevo]

情報の教科書で、「2バイト文字」という表現が軽率に使われていたら、みんなで手斧投げよう。

[yaminusi]

利用率推移グラフ、私的には Perl 5.8.1 (2003) を注記したい。

[Windymelt]

ICU便利で、文字数計数とか便利なユーティリティあるんですよね

[bestation]

Unicodeの利用率は98％へ の残りの2%の日本の糞みたいなシステムがSJISということか

[y-kawaz]

ざっと把握するには良いまとめ。

[hidea]

ほんとアメリカのemoji好きは、2016年に渡米したときそんなに？と思ったくらい。

[matarillo]

異体字セレクタはあるし、Emojiで結合文字もアホほど増えてるし、プレーンなテキストとは一体……と言う気分になる→gigazineじゃなくて元記事の方がしっかりしてた。そりゃそうか。

[for-my-internet-demo]

お付き合いせざるを得ない相手

[lbtmplz]

sjis早く死んで…！

[adsty]

Unicodeを正しく使うために必要な知識。

[hiroomi]

“2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達”そう絵文字様様。絵文字のおかげは本からだったかな。1バイト圏の方の使う理由は絵文字なのよね。

[yarumato]

“1990年代、Unicode登場時点ではUTF-16の前身である16ビットの固定幅エンコーディングUCS-2を使用。文字数不足が明らかになると、サロゲートペアが導入され、可変長のUTF-16へと発展。UTF-8こそが現代のプレーンテキスト”

[aquarickn]

出来るなら関わりたくない

[abstruct3431]

この程度のことも知らずに（初学者を除いて）「自分は開発者だ」なんて名乗ってる恥ずかしい奴なんかいるわけないよねぇ

[ghostbass]

コミットメッセージに絵文字を入れてくれちゃった方のおかげさまでredmineへのgit連携ができないプロジェクトが発生してしまいましたよまったく

[brightsoda]

>canadie ビャンビャン麺のビャンは台湾で使用実態があるみたいだから普通に良いのでは

[nezuku]

UCS-16、16ビットありゃすべての文字が収まるだろうというシングルバイト圏の慢心がUTF-8との間での混乱を起こし… / 絵文字によりシングルバイト圏のソフトが真剣にUnicode対応するようになったのは事実だと思う

[aceraceae]

最低限の知識というだけあってわりと基本的な話だった。

[yk_uminami]

z

[misshiki]

“2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し”

[xlc]

“絵文字などのおかげでUnicodeの利用率は98％へと到達し” これは違うだろ。「日本スゲー」論者は大喜びすると思うが。/ ビャンビャン麺の字は「宣伝用に最近創られた字」でそれをフォント作成者が登録してるのが闇。

[inatax]

なんで略語ができるぐらいCJKが特別扱いされてるんだろう？とか思ってたけど、こうやってUnicodeのどれくらいを漢字が占めてるのかを見ると、そりゃ別枠だわって感じだった

[fukken]

1バイトしかなかった→2バイトでは足りない→3バイトでは足りない、みたいな流れを経ているので、「4バイトに収まる」という事になっている現在の状態をだいぶ怪しんでいる。

[spark7]

これがクソオブクソ。『Windows、Objective-C、Java、JavaScript、.NET、Python 2、QT、SMS、CD-ROMなど多くのシステムがUCS-2を採用』／ 正しく判別すると爆弾の元になったりするのよな『組み合わせる数には事実上制限がありません』

[tk_musik]

emojiだからね。ガラパゴスと揶揄された日本だが、多様性からの広がりを証明したな(何もしてないのに偉そうにする☺)

[asakura-t]

16bitに拘りすぎてロケール依存になってしまったのは本当に大きな問題を残してしまった（結局足りなくなって増やすはめになったんだし）／当時は中国の力が大きくなったのもああなった理由かな？と思ったりもするけど

[remoteworker]

純日本の会社だと シフトJIS のCSV送りつけてくるんよ...

[atsushieno]

System.String.Compare()を実装するときUnicode文字全部調べたの大変だったけど、当時はBMPだけで済んでいたからまだ楽だった…って思う程度には増えてきたなー