文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ - エンジニアHub｜Webエンジニアのキャリアを考える！

ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。 本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説します。 文字コードとは？ Unicode以前の文字コード Unicodeとその主な符号化形式 UTF-16 UTF-32 UTF-8 Webで文字コードを指定する仕組み HTML文書で文字コードを指定する HTTPのプロトコルで文字コードを指定する Unicodeによるプログラミング上の注意点 サロゲートペア 結合文字 正規化 書記素クラスタで文字数をカウント まとめ 関連規格 文字コードとは？

[tourism55]

英語圏製アプリでたまに遭遇する、ローマ字入力しようとすると1字づつ確定されてしまい「ｈあｔえｎあ」ってなる事象は何を理解していないから起きてるのかな？そしてバグレポートしやすいように事象に名前が欲しい

[sisya]

最近、ファイル名に絵文字が混じってくるようになり、どこかでおかしなことにならないかひやひやしている

[syunnchang]

まさか絵文字の世界的普及のおかげで副次的に対応が楽になるとは、10年前だれも思ってなかっただろうなぁ

[manFromTomorrow]

魔界の入り口

[turanukimaru]

多少制限があっても全てを単純にしたい無能プログラマから見ると頭のいい人たちは何故こんなに物事を複雑にしてしまうのか分からない。

[t-tanaka]

異体字セレクタ（SVS/IVS）にもふれてほしいなあ。あと絵文字の結合の闇の深さや，Modifierによるカオスっぷりも掘り下げて欲しい。

[chinpokomon_master]

id:turanukimaru じゃあお前明日からascii以外使用禁止な。

[Listlessness]

再入門…地獄へ２度行きたい人なんているんですかね

[vamview]

ここで触れられてない異体字セレクタが最大の闇。これ考えるとUTF-8は1文字あたり最大8バイト。

[yanok]

書きました!

[udzura]

達人おすすめの導入記事

[iga_k]

文字コードの基礎入門資料。いまいずみさんお勧め。

[tana005]

書記素クラスター、正規化、コードポイントの解説がココに！ただし、サロゲートペアってのが良く解らんかった。utf16で使われる。

[fubar_foo]

[[unicode]‌][encoding]

[ayu118]

👨‍👩‍👧‍👦←見た目1文字、実際は7符号(?)、Android版はてブアプリでは9文字判定、JavaScriptのlengthは11

[junjuns7]

おのれサロゲートペアぁぁぁ (読んでないけど怨みが深いので)

[WinterMute]

utfの普及により長らくシナリオライター業界で使われていたキロバイト単価の基準が変化している（まだ現場によって違うみたいな時期。文字数単価にするか、普通に一本いくらの場合も増えている気がする

[lli]

まだまだ。

[kkobayashi]

処理系によってUnicodeの扱いに癖があってややこしいよね。Pythonの2と3でだいぶ扱いが違うのには驚いた

[sgo2]

まだ地獄の一丁目。ロケール(カルチャ)とかも学んでおかないと更なるカオスを生み出す。例えば文字コードの変換時にsetlocale呼んだり、日本語=932、英語=1252を割り当てたりとか(実話)。

[tk_musik]

ホッケ、ヨシノヤ

[wa_kanou]

前の仕事でUnicodeに散々苦しめられた記憶が蘇ってしんどい

[skypenguins]

Unicodeは魔界への入り口…つまりUnicodeを知ることは魔界大冒険なのだ😇

[georgew]

奥が深過ぎる...

[yarumato]

“書籍『プログラマのための文字コード技術入門』著者が、基礎を解説。 Unicodeによるプログラミング上の注意点：サロゲートペア、結合文字、正規化、書記素クラスタ（人が認識する1文字）で文字数カウント”

[otchy210]

HTML 例の中のダブルクォートが全角で、文字コードを扱う記事でそれはどうよ、と思った。

[igrep]

Unicode沼のすばらしい概要だ

[diveintounlimit]

沼だ

[Imamu]

『プログラマのための文字コード技術入門』って2018年に［改訂新版］出てたのか。2010年が初版。

[gowithyou]

UTF-8で全ての問題が解決するかと思ったら顔文字で更に複雑化して、更にはUTF -128が出てくることになるとは思わなかったよ

[toshi-toma]

文字コード入門めちゃ分かりやすい ."👍".length は2を返す

[slash_01]

ゆっくり読みたい

[tsutsuji360]

ﾜｶﾘﾔｽｲ

[ryo_ryoo_ryooo]

文字数は新しい結合文字に対応してるかどうかによって変わるから数えるのはあきらめるのがいいと思う。

[roirrawedoc]

未だに2バイト文字とか抜かしてる奴のキンタマを3個に増やしてやりたい