プログラミング言語における文字コードの話

世の中がほぼUnicode前提になってめでたしめでたし。とはいかなかった現実の話。 String型でできる文字列処理とか、ソースコード自体、特に識別子で使える文字とか。 軽くおさらい: Unicode まあいろんなところでいろんな人が書いてると思うのでさらっと概要だけ。 Unicodeは、元々、「65,536文字あれば十分だろ」とかいう幻想の元、2バイト固定長の文字コードとして作られていました。 もちろん足りなくて、ビット数を拡張。基本が2バイトのままでこの拡張した分を取り扱えるようにしたのが今のUTF-16で、拡張分は2文字分(4バイト)を使って表現。 この、2文字分使って1文字を表すやつのことをサロゲートペア(surrogate pair: 代理対)と呼びます。 あと、ASCII文字も2バイトになるのを欧米人が嫌って、ASCII文字はASCIIコードのまま、逆に漢字・ひらがな・カタカナ

[frontline]

文字コード周りは遠くで眺めているくらいがちょうどよくてこのブログの内容とかは「今は」程よい美味しさ。これが当事者になると激熱の激辛の激酸っぱい話になってむせ返って死ぬ。

[razokulover]

しょきそ

[miraishonen99]

むず

[sfgj]

今の人はカーニハン＆リッチーなんて知らないよね

[quick_past]

Lispさんは？

[teracy_junk]

面白い（実務だと胃が痛い）話

[rti7743]

個人的にはUTF-8で統一してほしいんだけど、なかなかそうもいかないもどかしさ。 SJIS EUC JISの三つ巴が、UTF-8 UTF-16の2つになったと喜ぶべきなのか悲しむべきなのか。

[junjun777]

ちなみに、Rubyは内部文字コードがありません。素晴らしい。コードのエンコードは指定可能です。めでたしめでたし。

[efcl]

C#やSwiftとUnicodeの話。 Swiftが書記素クラスターを扱う話

[ktanaka117]

帰りの電車で読む