タグ

programmingとUnicodeに関するhush_puppyのブックマーク (6)

  • libiconv - GNU Project - Free Software Foundation (FSF)

    Introduction to libiconv International text is mostly encoded in Unicode. For historical reasons, however, it is sometimes still encoded using a language or country dependent character encoding. With the advent of the internet and the frequent exchange of text across countries - even the viewing of a web page from a foreign country is a "text exchange" in this context -, conversions between these

  • 文字コード変換ライブラリ「ICU」での文字コード変換処理: プログラマーの雑記帳

    UTF-8エンコーディングの文字が書かれているファイル("utf8_src.txt")を準備して、プログラムでファイルの1行目を読み込み、その文字列からUnicodeStringオブジェクトを構築してから、SJISにコード変換するサンプルです。 文字コード変換ライブラリ「ICU」セットアップ が行われいることが前提です。 #define WIN32_LEAN_AND_MEAN #include <stdio.h> #include <string> #include <fstream> #include <unicode/unistr.h> // ICU int main(int argc, char* argv[]) { std::fstream r("utf8_src.txt"); std::string str; r >> str; //一旦Unicodeで文字列オブジェクトを構築し

    文字コード変換ライブラリ「ICU」での文字コード変換処理: プログラマーの雑記帳
  • C/C++ 台北猫々ライブラリ

    ■TCPのSocketクライアントクラス V.1.0.7 ・対応環境:Linux(Fedora8), WindowsXP SP2 ・ソース Socket.src.zip(ソース) 【内容】 Socket.cpp Socket.h socket_main.cpp (windows・Fedora共用テストコード) ReadMe.txt(ソケットクラスについての説明) ・Visual C++ 2008 プロジェクト Socket.zipWindowsXPでは、参照ライブラリに"Ws2_32.lib"を追加してくださいね。 ※文字コードはSJISで作っていますのでLinuxでは注意。 ■生Socketクライアントクラス V.1.0.3 ・対応環境:Linux(Fedora8), WindowsXP SP2 ・Socketクラス V.1.0.7 ~に対応 ・ソース RawSocket.src.z

  • its55 lab » C++でShift-JISをUTF-8に変換する

    6月 11th, 2008 Posted in C++ Windowsアプリケーションでもネットワークにつながって、サーバアプリケーションと連携することが多くなってきてますねぇ。ネットワークといえば文字コードはUTF-8なイメージがあるワタクシですが、C++ではShift-JISなアプリばっかり作ってきたので、UTF-8に変換するにはどうしたらいいの?ってことでまとめます。 C++でShift-JISをUTF-8に変換するには、 Shift-JIS→UTF-16→UTF-8 の順番で変換する必要があります。 そもそも、UTF-16とUTF-8はどう違うのか。UTF-16は文字に割り当てられる番号(コードポイント)が2バイトで格納されます。一方UTF-8は、0~127のコードポイントは1バイトで格納され、128から上のコードポイントは、2~6バイトで格納されます。0~127のコードポイントで

  • Unicode正規化

    正しい並び替えでは、表示は(A)のままですが、間違った並び替えでは、正規結合クラスが互いに等しいMACRONとACUTEを並び替えたため、表示は(B)のように、eの上のアクセント記号の位置が入れ替わってしまいます。 正規分解・互換分解 ある文字列の正規分解 (Canonical Decomposition) を得るには、まず、それぞれの文字を正規マッピングによって再帰的に、可能な限り、分解します。すなわち、1回分解した後に現れた文字がなおも分解可能であればさらに分解します。分解マッピングがその文字自身である場合は、分解不可能なので、そのままです。 しかし、分解しただけでは必ずしも正しい結果が得られません。つまり、結合文字の順序の一意性を保証するため、分解後の文字列に対して正規順序アルゴリズムを適用しなければなりません。このように、正規マッピングによる再帰的分解と、正規順序アルゴリズムによ

  • Unicode HOWTO

    サービス終了のお知らせ いつもYahoo! JAPANのサービスをご利用いただき誠にありがとうございます。 お客様がアクセスされたサービスは日までにサービスを終了いたしました。 今後ともYahoo! JAPANのサービスをご愛顧くださいますよう、よろしくお願いいたします。

  • 1