MySQLで4バイトのUTF-8文字を扱ってみる - HHeLiBeXの日記 正道編
JIS X 0213:2004で追加された「叱」の異体字は、Unicodeにおいては「UTF-8で符号化すると4バイトになる」コードが割り当てられている。また、中国語をまともに扱おうと思ったら「UTF-8で4バイト」の文字を扱う必要が出てくる。 そんな文字どもをMySQLデータベースに放り込もうと、UTF-8指定でがんばっていたのだが、ひとつの結論に行き着いたらしい。 MySQLの"UTF-8"にご用心 - yanok.net 「UTF-8で4バイト」の文字を扱おうと思ったら、MySQL 5.5.3以降を使い、さらに"utf8mb4"を指定せよ、という冗談のような本当の話。 まぁグダグダ言っても始まらないので、まずは手元にある環境で試してみるところから。 事前準備 環境として、以下のものを使用する。 OS Windows Vista Business SP2 (x86) PHP v5.3.
NetBeans - Japanese Users - エディタの文字コードをShift-JISにしたいのですが
はじめまして 現在、Windows上でRubyの開発に使おうとしておりますサンデープログラマーです。 NetBeansのエディタで編集しますと保存したとき、文字コードがUTF-8で保存さ れてしまうようですが、文字コードをShift-JISで保存する方法はないのでしょ うか。 ご教授いただければ幸いです。よろしくお願いします。 -- ------------------------------ HATTORI Yoriyosi 服部 頼義 e-mail: [hidden email] ------------------------------ -----BEGIN PGP PUBLIC KEY BLOCK----- Version: GnuPG v1.4.8 (MingW32) mQGiBEh94soRBACBJhwKEBSBExsQ8uWumwQQp5gvH7ddniwKF78
NetBeans Encodingを指定してファイルを保存・開く | junichi11.com
NetBeansではデフォルトでファイル単位でエンコーディングを指定して開いたり保存したりすることはできません。プロジェクト単位で使用するエンコーディングを設定することはできます。プラグインで対応できるようなので紹介します。 ダウンロード＆インストール 下記のページの添付ファイルをダウンロードしてNetBeansにインストールして下さい。（Attachmentsのところです） http://netbeans.org/bugzilla/show_bug.cgi?id=114123 追記 改良したものをGitHubとPlugin Portalで公開しています。 https://github.com/junichi11/netbeans-encoding-plugin/releases http://plugins.netbeans.org/plugin/60487/encoding-suppo
(Linux)viで文字コードを指定してテキストファイルを開く | old_3流プログラマのメモ書き
wget でダウンロードした html を普通に vi ファイル名 で開くと文字化けしました。 ということで、vi で文字コードを指定してファイルを開く方法です。 ShiftJIS で開く $ vi -c ":e ++enc=cp932" index.html EUCで開く $ vi -c ":e ++enc=euc-jp" index.html UTF8で開く $ vi -c ":e ++enc=utf8" index.html "vi ファイル名" で開いた後に ｢:e ++enc=文字コード｣ でも構わないみたいですね。 参考： Deginzabi163’s Blog:[覚書]vimでsjisのファイルを開いたら文字化け。対処法は？ Greenbear Laboratory - Vim覚え書き:
MySQLにおける、utf8_general_ci と utf8_unicode_ci の違いとは何か。 | プログラムの種 ブログ
MySQLにおける、utf8_general_ci と utf8_unicode_ci の違いとは何か。 MySQLの照合順序における、utf8_general_ci と utf8_unicode_ci の違いとは何か。よくわからなかったのでマニュアルを紐解くと、MySQL AB :: MySQL 5.1 リファレンスマニュアル :: 9.10.1 Unicode キャラクタセットにて、こう書かれています。 現在、utf8_unicode_ci照合順序はUnicode 照合順序アルゴリズムを部分的にのみサポートしています。中にはまだサポートされていない文字もあります。また、結合マークは完全にはサポートされていません。このことはベトナム語を中心に、ロシア内のマイノリティ言語に影響します。 utf8_unicode_ci主な特徴は、拡張をサポートしていることです。それは1つの文字が他の文字のコ
PHPでテキストファイルの文字コードを変換する
75: /** 76: * テキストファイルの文字コードを変換し保存する 77: * @param string $infname 入力ファイル名 78: * @param string $incode 入力ファイルの文字コード 79: * @param string $outfname 出力ファイル名 80: * @param string $outcode 出力ファイルの文字コード 81: * @param string $nl 出力ファイルの改行コード 82: * @return string メッセージ 83: */ 84: function convertCode($infname, $incode, $outfname, $outcode, $nl) { 85: $instr = @file_get_content
0x5c問題 - プログラミング講座 - fuku研究所
いよいよ、0x5c問題について書きます。 まず、0x5c問題とは何かということですが、 とりあえず私は、「2バイト目に0x5cを含む文字が起こす問題全般」だと考えています。 この「2バイト目に0x5cを含む文字」は後述します。(・・・もう見えてるかもしれませんが（笑）) その中で今回書くのは英語版環境や日本語処理に問題がある環境で発生する問題です。 (文字コード指定可能な環境ならば当然文字コードを正しく指定しなければ問題が発生します。 言語が漢字(文字)コード指定を持っている(だったはず)のRuby言語では要設定確認です) ちなみに何で英語版は問題になるのかといえば、たいていの場合、1文字を2バイトで表すなんてこと自体、 考えて作られてないからです。(アルファベットだけなら1バイトで十分) 前回のASCIIコード表を見ていただけると分かると思いますが、0x5cは「\」です。 そして、「\」
Web Security Memo Wiki*
EUC-JPで書かれたPHPスクリプトを、Shift_JISとして出力する場合 以下のように .htaccess に書く。 <IfModule mod_php5.c> # 内部コードは、スクリプトと同じにする。 php_value mbstring.internal_encoding EUC-JP # 出力をバッファリング＆変換する php_value output_handler mb_output_handler php_value mbstring.http_output SJIS </IfModule> EUC-JPのページからのPOSTを、Shift_JISのページ内で出力する場合 php_value mbstring.http_input auto php_value mbstring.encoding_translation On ユーザからの入力を自動的にエンコーディング変
【スクリプトインジェクション対策06】入力文字列の文字エンコーディングを検証する | gihyo.jp
筆者はここ数年、ブラウザからの入力は指定された通りの正しい文字エンコーディングでエンコードされているか検証しなければならない、と解説しています。手前味噌ですが2006年3月に出版した「Webアプリセキュリティ対策入門」（技術評論社）でも、入力文字列のエンコーディングが妥当であるか検証しなければならない、と解説しています。 残念なことに最近になっても不正な文字エンコーディングが入力される可能性を考慮していないことによる脆弱性が、PHP本体自体やPHPも利用しているライブラリlibxml2に発見されました。不正な文字エンコーディングはデータが正しくないだけでなく、スクリプトインジェクションやSQLインジェクション、DoS攻撃等を可能にします。 マルチバイト文字エンコーディングは最初または前方に配置されたバイトで1文字が何バイトで構成されるか決まります。この性質を利用してマルチバイト文字列の開
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
phpiniの文字コードの設定 [データベース] All About![phpiniの文字コードの設定 [データベース] All About](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f530daf3cb408d6b6a0ba6f38ed7ccece36cffc/height=288;version=1;width=512/https%3A%2F%2Fimg.aacdn.jp%2Faa%2Fcommon%2Fogp300_300.png)
#070 PHP5.2と5.3 日本語ファイル名(SJIS)の扱いが異なる | 雑記帳