Windowsでは、文字コードに「ユニコード」を使う。Windowsに搭載されているフォントはさまざまあるが、ユニコード文字を表示できるように、多数の文字の形が組み込まれている。 今回は、Windowsでユニコードを“見る”方法について解説する。なお、WindowsではUTF-16LEエンコードをUnicodeと表記する。ここでは、エンコードと混同されないために、文字仕様のUnicodeは「ユニコード」とカナ書きすることにする。 GUIアプリでユニコードを使う ユニコード文字は多数ある。それぞれの文字に割り当てられた文字コードをユニコードでは「コードポイント」と呼ぶ。コードポイントは、「U+」の後ろに16進数4桁または6桁で指定するのが正式な表記方法だ。たとえば、「漢」は「U+6F22」となる。ユニコード関連の文書やもちろん、インターネット内のウェブページでも同様の表記をすることが多い。
先日以下の記事を書きました。 ここでUTF-8の最初の文字かどうかの判定を以下の自作した関数で実装していました。 const ( t1 = 0b00000000 tx = 0b10000000 t2 = 0b00000110 t3 = 0b00001110 t4 = 0b00011110 ) func isUTF8LeadByte(tmp byte) bool { if tmp&tx == t1 { return true } tmp >>= 3 if tmp == t4 { return true } tmp >>= 1 if tmp == t3 { return true } tmp >>= 1 if tmp == t2 { return true } return false }
Decoding UTF8 with Parallel Extract 23 Mar 2024 As a side-quest I recently decided to write a branchless utf8 decoder utilizing the pext or "parallel extract" instruction. It's compliant with rfc-3629, meaning that it doesn't just naively decode the code-point but also checks for overlong encoding, surrogate pairs and such. Compiled with gcc -O3 -march=x86-64-v3 the entire decoder results in just
List of Emoji
Emojis are small picture-like symbols that can add context and emotion to written text. They are about the same size as a letter that can be typed, but unlike alphanumeric characters, they are usually depicted in color, and their meaning is often open to interpretation. The word emoji comes from combining the Japanese words for picture and character. The first emoji characters, introduced in the 9
ここでunknown-8bitと出てきたのでドキッとしてしまいましたが、unknown-8bitはShift_JISのことだそうでホッと一安心。 文字コードを変換する 文字コードを変換するにはnkfコマンドを使います。 //未インストールの場合、Homebrewでnkfをインストール $ brew install nkf //ファイルをShift_JISに変換（上書き保存）する $ nkf -s --overwrite ファイル名 //ファイルをUTF-8に変換（上書き保存）する $ nkf -w --overwrite ファイル名 いろいろなcharset 上記のコマンドをテストしようとして適当にテキストファイルを作成したところ、コマンドはもちろんエディターの設定をいろいろ変えて保存してもfile --mimeでの出力結果がずっとus-asciiになってしまい、大いにハマりました。 原因
【php】SplFileObjectでcsvを読み込む前に(SJIS-win → UTF-8) - Qiita
public function convertCsv($filePath){ $csv = new SplFileObject($filePath); $csv->setFlags( \SplFileObject::READ_CSV | // CSV 列として行を読み込む \SplFileObject::READ_AHEAD | // 先読み/巻き戻しで読み出す。 \SplFileObject::SKIP_EMPTY | // 空行は読み飛ばす \SplFileObject::DROP_NEW_LINE // 行末の改行を読み飛ばす ); $readData = collect($csv)->map(function($data,$key){ mb_convert_variables('UTF-8', 'SJIS-win', $data); . . . } 上記の置換、SJIS-winをそ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows上でユニコードを「見る」方法
Goの標準のutf8.RuneStart関数がエレガントすぎる
おっさんが使いがちなネコの絵文字、どの環境でもかわいいとは限らないんだぞ／「はてな匿名ダイアリー」の注意喚起記事がちょっと話題に【やじうまの杜】
変体仮名を使える「Android 15 Beta 2」が公開 ～「プライベートスペース」なども追加／今秋にも正式リリース
Decoding UTF8 with Parallel Extract
ファイルの文字コードをMacのターミナルで確認する＆変換する - Qiita