UTF-8をデコードするオートマトンの実装 - Qiita
オートマトンを実装するための方法として、ある状態において、どの文字を受け取ったら、次の状態がどれであるかを表で表現する事ができます。今入力として1バイト受け取ることを考えると、1バイトは0-255の256通りなので、状態を整数で表すとして、以下のように2次元配列で表現できます。 static const signed char trans[][0x100] = { { /* S0 0 1 2 3 4 5 6 7 8 9 a b c d e f */ /* 0 */ A, A, A, A, A, A, A, A, A, A, A, A, A, A, A, A, /* 1 */ A, A, A, A, A, A, A, A, A, A, A, A, A, A, A, A, /* 2 */ A, A, A, A, A, A, A, A, A, A, A, A, A, A, A, A, /* 3
Mac OS X の NFD 問題での対策諸々 - Qiita
おさらい。 ∥ Unicode正規化 - Wikipedia 正規化形式 NFC: Normalization Form Canonical Compression | 文字に何がくっついていようと、組み合わせて作られた文字であろうと、「一文字」は「一文字」じゃ。圧縮形式。Linux のファイルシステムや Windows の NTFS などが普通に使っている。 NFD: Normalization Form Canonical Decompression | 濁点・半濁点を、あるいはウムラウト等のダイアクリティカルマークを、本体の文字とは分離してエンコードした形式。OS X の HFS+ が、これを採用してくれちゃっている。 基本としては、OS X 上に置かれるファイルは NFD であってくれて、Linux や Windows 上にあるファイルは NFC であってくれると平和で助かる。 追
Rails + CircleCI で MySQL の utf8mb4 をつかう - きりきりやま
前提 ActiveRecordをutf8mb4で動かす - Qiita 気合でコンテナ上の MySQL の設定を変更する circle.yml database: override: - mysql -u root -e 'set global innodb_file_format = Barracuda' - mysql -u root -e 'set global innodb_file_per_table = 1' - mysql -u root -e 'set global innodb_large_prefix = 1' - bundle exec rake db:create db:schema:load --trace
Rails を utf8mb4 で動かす
絵文字などを格納できるようにするため、MySQL の encoding を utf8mb4 にすると、1文字が最大 4バイトになる。すると、primary key と unique key として使うカラムが、InnoDB の最大長 767バイトを超えるために、 ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes というエラーが発生する。 それを乗り越えるための手順は以下の通り。 1) まず、my.cnf に以下を追加して restart させる。 character-set-server = utf8mb4 collation-server = utf8mb4_unicode_ci innodb_file_per_table = 1 innodb_file_format = Barracu
ExcelでUTF-8エンコーディングされたCSVファイルを開く方法 - 小さい頃はエラ呼吸
photo credit: gonzalo_ar via photopin cc はじめに このエントリでは、ExcelでUTF-8エンコーディングされたCSVファイルを開く方法を紹介します。 Excel VBAのプログラミングのツボとコツがゼッタイにわかる本―最初からそう教えてくれればいいのに!Excel2007/2003対応posted with amazlet at 12.12.23立山 秀利 秀和システム 売り上げランキング: 1,346 Amazon.co.jp で詳細を見る 結論 以下のような３つの方法があります。 拡張子をcsvからtxtに変更してから開く。 CSVファイルをBOMつきのUTF-8ファイルに保存しなおしてから開く。 CSVファイルの保存形式をANSIに変更してから開く。 ExcelはCSVファイルをShift_JISで開こうとする Excelは、CSVファイル
UTF8にはサロゲートペアはありませんが異字体セレクタがあるので最大８バイトしかも・・・ | レビログ (Make a little happier) 13周年+2i年
レビログ (Make a little happier) 13周年+2i年 レビログの半分は管理人の独断と偏見でできています。残りの半分は現在残 希少につき 入荷待ちです。旧称 貧乏だけど心は萌え : UTF8にはサロゲートペアはありませんが異字体セレクタがあるので最大８バイトしかも・・・ 2014年4月16日 Category > 6_日記 > うだうだ日記 > TAG( ) Comment : 1 (link this page) 31bitまで表現できるのでサロゲートペアが必要ない Unicodeを斬りたい – Yahoo! JAPAN Tech Blog 残念ながらUTF8にも異字体セレクタというものが有り。 ユニコード＋異字体セレクタという構造を取り、異字体セレクタはU+FE00〜U+FE0FおよびU+E0100〜U+E01EFにマッピングされているので３バイトまたは４バイトのU
UTF-8にもいろいろある - ザリガニが見ていた...。
前回からの続き。 改行コードの違いを体感してみる - ザリガニが見ていた...。 文字エンコードとロケールを体感する - ザリガニが見ていた...。 改行コードの違いも知った。文字コードとロケール、ターミナルの言語環境との関係も知った。これで文字にまつわる悩みとはおさらばできると思ったら、まだダメだった...。 実験環境 OSX 10.8 Mountain Lion以前((OSX 10.9 Mavericksでは、Mac仕様なNFDのUTF-8を表示しようとするとエラーになってしまったため、10.8以前の環境で実験した。Assertion failed: (width > 0), function conv_c, file /SourceCache/shell_cmds/shell_cmds-175/hexdump/conv.c, line 137. ** ** Abort trap: 6
MySQL :: MySQL 8.0 Reference Manual :: 12.9 Unicode Support
The Unicode Standard includes characters from the Basic Multilingual Plane (BMP) and supplementary characters that lie outside the BMP. This section describes support for Unicode in MySQL. For information about the Unicode Standard itself, visit the Unicode Consortium website. BMP characters have these characteristics: Their code point values are between 0 and 65535 (or U+0000 and U+FFFF). They ca
Rails4.0.0.rc1でutf8mb4対応がされている件 - Qiita
2013/05/28 追記 なぜかエラーが出るのでコードを追ってみたら、どうやら該当箇所はまだ呼ばれないらしい。 何気にRails 4.0.0 (unreleased) とも書いてあった。 テストコードを参考に、config/initializersに適当なファイルを作成、その中で と書いてやると、utf8mb4チェックが走った。 本リリースには乗ってほしいな。 以下本文 iOSの絵文字をMySQLで扱うためには、utf8mb4設定をしなければならない。 Rails、MySQL環境でutf8mb4を利用するためには、文字コードの設定だけでなく、 http://qiita.com/items/7ac0c32c5264eac2b8bb のような対応が必要だった。 Rails4 rc1がリリースされたことを知り、色々触っていたらこの件について対応がされているのを見つけた。 該当コミットはこちら
メールアドレスのバリデーション崩壊のお知らせ、もしくは、全てが UTF-8 になる, 「エンジニアのためのイベント映像活用方法」の第2回が gihyo.jp に掲載されました - 雑文発散(2013-01-24)
▼ [雑] メールアドレスのバリデーション崩壊のお知らせ、もしくは、全てが UTF-8 になる JANOG31 のページをつらつら見てたら気になるセッションがあった。 「メールアドレスの国際化(JANOG25からの変更点)」というものだ。（多用されているかはともかく）Web で使われるドメイン名では国際化が進んでいたけど、メールアドレスに関してはほとんど進んでいなかった印象だったのに、どうも RFC での標準化がほぼ完了したらしい。 セッションページからダウンロードできる「IETF 85 報告 DNS, 国際化関連」という資料を見てみたら、次のような記述があった。 ほとんどすべてのメールヘッダにUTF-8を許可 – メールアドレス部 <ローカルパート@ドメイン名> – Display-name, (コメント), SubjectヘッダにもUTF-8 (従来はMIME) 資料には具体例も記載さ
MySQLのUNIQUEなINDEXには長さ767byteまでしか使えない件と対策 - tanamonの稀に良く書く日記
はじめに たとえばこんなDDLを投げる。 CREATE TABLE test ( id int(10) unsigned NOT NULL AUTO_INCREMENT PRIMARY KEY, hoge varchar(256) NOT NULL, UNIQUE KEY (hoge) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; するとエラーになる。 Specified key was too long; max key length is 767 bytes (SQLState:S1000)エラーに書かれているとおり、keyは最大で767byteまでしか使えないらしい。 ちなみにkeyはPRIMARY KEYとUNIQUE KEYがダメ、ただのKEYならOK。 で、どうするか。 1.素直に諦める 上記例ではテーブルがCHARSET=utf8のため1文字3b
Rails + Mysql(utf8mb4) on Amazon RDS - Qiita
って書くと怒られる。 unknown charsetとかだったかな？ 対応が必要なファイルは、 mysql2/lib/mysql2/client.rb なんだけど、github見に行くと既にutf8mb4のための更新がされてる。 そのcommit log なので、bundlerでgit指定してやってもいいし、 乱暴な話、client.rbの該当箇所だけ修正しても良い。 ActiveSupport::JSON::Encoding レスポンスをJSONで返したくて。 そのまんま返すんであれば読み飛ばして大丈夫。 マルチバイト文字の場合、 ActiveSupport::JSONは律儀にUnicode Escape Sequenceに変換してくれる。 github 該当箇所 一見格好いいけど、これ、\u1234みたいなごく一般的なEscape Sequenceは変換できるけど、 \u{123}とか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - whitequark/rack-utf8_sanitizer: Rack::UTF8Sanitizer is a Rack middleware which cleans up invalid UTF8 characters in request URI and headers.
GitHub - singlebrook/utf8-cleaner
GitHub - tst2005/lua-utf8string: [#####] Simple UTF8 support in pure lua
ActiveRecordをutf8mb4で動かす - Qiita
http://materia.jp/blog/20120321.html
Node.js（V8）は4バイトのUTF-8に未対応 - Aerialarts
761 - v8 - V8 JavaScript Engine - Monorail
can not read 4 bytes characters correctly in utf8