ㇹ゚ン゚'ㇳ̃ヴ゙ニ゙コ゚ヮヰ文̂字̠コ゚−ト゚ノ゙ㇵナ゚ㇱ(現在に至るまでの文字コードの軌跡と簡単な使い方について) - へっぽこびんぼう野郎のnewbie日記
はじめに 社内の勉強会で発表した文字コードの話の焼き直しです。ところどころ適当なので話半分に読んでもらえると助かります。 これ以上闇の深さを知りたくないと思って、深淵に辿り着く前に文字コードの勉強を打ち切っています。文字コードの専門家でもないので雑です。 調査が甘いので間違ってることも多々あるかもしれません。その場合はコメントください。修正します。 自信のないところは「らしい」とか「ようです」などのように伝聞調で書いています。あらかじめご了承ください。 また、前提知識として2進数と16進数の基礎的な知識を要求しています。 16進数の表現には特に断りがないかぎり 0xFFFF のような表現を使います。 2進数を使う場合には必ず断り書きを入れます。それ以外は10進数です。 本筋には関係のない、重要ではない情報は脚注にあります。気になったところだけご覧ください。 アジェンダ 今回の話に関係ある用
5-1. 𛀁𛀀の技術情報
Unicode 6.0.0より使用可能となった次の仮名2文字にまつわる情報をまとめた頁です。 𛀁𛀁: U+1B001; HIRAGANA LETTER ARCHAIC YE（ヤ行のエを表した「江」に由来する平仮名。「エ」のひらがな版） 𛀀𛀀: U+1B000; KATAKANA LETTER ARCHAIC E（あ行のえを表した「衣」に由来する片仮名。「え」のカタカナ版） 技術情報 𛀁𛀁 Unicode: U+1B001; HIRAGANA LETTER ARCHAIC YE UTF-8: f0 9b 80 81 (11110000 10011011 10000000 10000001) UTF-16: d82c dc01 (11011000 00101100 11011100 00000001) 文字参照16進数: 𛀁（𛀁） 文字参照10進数: ё
UniView
How to Convert Text to Unicode Code Points How to Convert Text to Unicode Code Points The process for working with character encodings in Python, or converting text to Unicode code points at any point in time, can be incredibly confusing, complex, and convoluted – especially if you aren’t particularly familiar with the Unicode language to begin with. Thankfully though, there are a lot of tools (an
Unicode文字列は「flagged utf8」UTF-8バイト列は「flaggedじゃないutf8？」 - こんにちはこんにちはmonmonです！
perlでutf8にひっかかっては、ブックマークした記事を読見なおしたり、昔買った「まるごとPerl」を読み直したり、改めて検索したりして、何かいつもわかったようなわからないような感じになってるので、今後また見るようにメモ書きを残すことにした。 知ってること Perl で utf8 化けしたときにどうしたらいいか 入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これがすべてです！ 知りたいこと モジュールを自分で書くとしたらutf8フラグが立っている（decodeしてある）ものを受け取るのが良いのか、フラグを落として（encodeして）もらうのが良いのか モジュールに引数を渡す場合は上でいう出口に当たるのかな？と思い。 調べたこと utf8::is_utf8 considered harmful これは自分のCPANモジュールなん
WINDOWSでのPerl漢字処理について考えました。 - 小池啓仁 ヒロヒト応援ブログ By はてな
ここのところ、漢字処理について考えていました。 以下は、間違えやツッコミ所が満載かもしれませんが、書いてみます。 結論としては、漢字コードの第二バイトが1バイト文字（\や@やアルファベット等）とダブルことがあるshiftjisは、まずＮＧです。 また、漢字が連続した場合に２文字の境界で下位バイトと上位バイトで、たまたま意味のある漢字になってしまうeuc-jpもＮＧです（shiftjisでも同様）。 というか、shiftjisもeuc-jpもバイト列で処理を考えているからで、バイト列ではもともと漢字処理が不可能に近いのですね。たぶん。 そこで、バイト列でなく、文字列として処理を行い、かつ、1バイト文字や制御文字とダブらないということで、Unicode(utf-8)の出番になるわけです。 一方、WINDOWSでは、まだshiftjisの世界です。 なので内部コードはUnicode(utf-8)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全角チルダ問題
Which is better UTF-8 or ISO-?
XULアプリケーション内で文字コードの変換を行なう例 - 今日もスミマセン。
Talk - プロフェッショナルなウェブサ イトのためのフレームワーク - Fabien Potencier
Opera News
文字コード ユニコード・JIS/EUC辞典