UTF-8 - Wikipedia

* 第1バイトがE0のときに第2バイトが80-9Fの範囲を、または同F0のときに80-8Fの範囲を取るものは冗長な符号化となるため許されない。第1バイトがEDのときに第2バイトがA0以上となるものはサロゲートペアのための符号位置にあたり、また同F4のときに90以上となるものはUnicodeの範囲外となるため、UTF-8ではやはり許されない。 Unicodeの符号位置を2進表記したものを、上のビットパターンのx, yに右詰めに格納する（最少のバイト数で表現するため、yの部分には最低1回は1が出現する）。符号化されたバイト列は、バイト順に関わらず左から順に出力する。 1バイト目の先頭の連続するビット "1"（その後にビット "0" が1つ付く）の個数で、その文字のバイト数がわかるようになっている。また、2バイト目以降はビットパターン "10" で始まり、1バイト目と2バイト目以降では値の範囲が

[kappaseijin]

ケン・トンプソンの業績たどったらUTF-8もロブ・バイクと作っていた。さす。UTF-8は'/'を含まないのでFileSystemSafeって別命あるけどPlan9のために作ったのね。納得

[hiroomi]

“UTF-8は、データ交換方式・ファイル形式として一般的に使われる傾向にある。”

[meg_nakagami]

“サロゲートペアのままUTF-8と同等の符号化を行う符号化は、CESU-8 (Compatibility Encoding Scheme for UTF-16: 8-Bit) として別途定義されている。”

[ngyuki]

知らなかった。。。 "Unicodeによる定義[6]とIETFによる最新の定義[7]では、5-6バイトの表現は不正なシーケンスである。"

[tsupo]

脚注9: 現在のOracle Databaseでは、CESU-8を「UTF8」として、「普通のUTF-8」を「AL32UTF8」として扱っているため注意を要する

[kovayan]

BOMで詰まる

[grafi]

エンコード体系がなんか再帰的っぽくて楽しい。

[speg03]

実行可能スクリプトでバイト順マーク(BOM)がついているとシェバング(#!)が機能しない。

[sucrose]

ChromeでBOMの有無でつまった

[syuu1228]

@fedorakenken 何を知りたいのか知らんけど

[hoppie]

しかし、テキストデータがUTF-8で符号化されていることの標識として、データの先頭にEF BB BF (16進。UCSでのバイト順マークU+FEFFのUTF-8での表現) を付加することがある。

[DNPP]

なお、1バイトが9ビットである処理系では、この問題をあまり発生させずに符号化できるはずである。このアイディアに基づいたジョークRFCがRFC 4042 “UTF-9” として2005年4月1日に公開された。

[asari3]

Unicodeによる定義[5]とIETF による最新の定義[6]では、5〜 6バイトの表現は不正なシーケンスである。

[FTTH]

「なお、1バイトが9ビットである処理系では」　←本題じゃないけどあるのかそんなの。「1バイト＝8ビット」は辞書的な定義だと思ってたよ。

[pha]

UTF-8NとかUTF-8-MACとかあるのか　よくわからん。。。

[stibbar]

ASCIIと同じ部分は1バイト、その他の部分を2〜6バイトで符号化する。4バイトのシーケンスでは21bit(0x1FFFFF)まで表現することができるが、Unicodeの範囲外となる17面以降を表すもの(U+10FFFFより大きなもの)は受け付けない。また5

[skyriser]

BOMとか日本語は4バイトだったりとかの話。 日本語3バイトは知ってたけど4バイトもあったのか…。

[masakanou]

読む

[overdrive_596]

bomについて。>UNIX系ではbomがあると先頭のインタプリタコマンドを認識しない。

[night_hike]

バイトオーダーマーク（BOM）「BOMありをUTF-8、なしをUTF-8Nと呼ぶこともある（ほぼ日本のみ）」BOMが余分なデータとみなされて問題となる場合もあれば、逆にBOMがないとUTF-8と認識できないプログラムも存在する

[hizous]

「UTF-8のBOMを認識しないプログラムでは、BOMが余分なデータとみなされて問題となる場合もある。逆にBOMがないとUTF-8と認識できないプログラムも存在する。」

[mogwaing]

文字境界の判別方法

[paella]

UTF-8がどういうデータ構造を持っているか。文字コードの判別処理に必要なものなので、覚えておこう