RubyでShiftJISのファイルを扱う（1.9.3, 2.0系対応版）｜TechRacho by BPS株式会社
morimorihogeです．更新が不定期ですみません．最近夕立が改二になりましたが3-4が越せません．(*1 普段Ruby/Railsを使っていると，基本的に文字コードはUTF-8を使っているかと思います．Rubyは割と文字コードについてはバージョン毎に扱いが変わっており，以下の様な挙動になります． 1.8.7以前: デフォルトUS-ASCII，日本語を扱う際は$KCODEの指定を明示的に呼び出す 1.9.3以前: デフォルトUS-ASCII，日本語を扱う際はcoding: utf-8等のマジックコメントを記述する 2.0.0以降: デフォルトUTF-8 というわけで，ここ最近のプロジェクトでRuby 2.0系を使うのであれば，マジックコメントも何も必要無くUTF-8を使うことができます． しかし，レガシーシステムとの連携といった理由で他の文字コードのデータを読み書きする必要は依然存在し
mt-daapd ShiftJIS/UTF-8両対応パッチ ワタシは自宅で音楽聴くの にZinaというCGIを使っていた んですが、嫁がMacユーザな関係で、mt-daapdに乗り換えることにしました。UNIXからMac/WindowsのiTunesに、直接曲を提供できるようにするデーモンです。これ起動しとくと、iTunesの左側のペインに、サーバ名がにゅっと現れるようになり、そこ選ぶとサーバ上の曲の一覧が表示されるようになるです。 しかし、ウチのmp3のID3は大部分ShiftJIS(一部UTF-8)で、一部ID3が入っていなくて日本語ファイル名(sambaの設定によりShiftJIS)なmp3もあります。素のmt-daapdだと、UTF-8/16なID3の曲以外は、iTunes上で文字化けしちゃうんですよねー。 mt-daapdのShiftJISパッチってないんでしょうか
perldoc の Encode::JP を読むと、Shift JISには3種類ある。 shiftjis - MS KanjiCP932 - CODE PAGE 932 = Shift JIS + MS/IBM vendor mappingsMacJapanese - Shift JIS + Apple vendor mappings うっすらとわかっているけれど、気持ち悪いので調べてみた。 Wikipedia に詳しい解説があった。 shiftjis - http://ja.wikipedia.org/wiki/Shift_JISCP932 - http://ja.wikipedia.org/wiki/CP932MacJapanese - http://ja.wikipedia.org/wiki/MacJapanese この3つの encoding について具体的に把握する方法を考えてみ
VC++による，ShiftJISコードとUnicodeの変換処理の実装 VC++による，ShiftJISコードとUnicodeの変換処理の実装 ShiftJIS, Unicode(UTF-8) XMLとかJavaとか扱うと，Unicodeという文字コードが頻繁に出てきます． 我々PCユーザーには，ShiftJISコードがなじみ深いのですが， ちょっとUnicodeは避けて通れないなあという気がしてきます． そこで今回は，ShiftJISコードとUnicodeの変換関数をC++で作ってみました． とは言っても，実際にShiftJISとUnicodeの相互変換の処理を実装するのは， かなり大変なので，VisualC++のライブラリ関数の力を拝借しています． Unicodeというコード体系は，いくつかの方法で実際にコード化されています． 例えば UTF-16BE（ビッグエンディアン） UTF-1
Quicka バージョン 1.5 をリリース！ShiftJIS で検索できるように・地味に日本語化・アイコン微変更 | ラクイシロク
どうもアプリ開発者のラクイシ（@rakuishi07）です。 申請から公開までなんか2週間ぐらい待たされましたが、無事に Quicka v1.5 が審査に通りました。 Quicka 1.5（￥85） カテゴリ: 仕事効率化, ユーティリティ 現在の価格: ￥85（サイズ: 0.1 MB） リリース日: 2012/03/31 アップデート内容は以下の通りです。 URL エンコードが選択できるようになりました。ShiftJIS は、<@@> と入力すると利用出来るようになります。UTF8 は、今まで通り <@> で利用できます Quicka を最初に起動した際に、日本語でデフォルトのデータが表示されるように変更しました アイコンを微変更しました ShiftJIS で検索できるように 日本語圏の一部検索サイトでは、UTF8 ではなくて ShiftJIS でないと駄目だということを知り、対応させ
ブラウザのJavaScriptでShiftJISのcsvを作ってダウンロードさせる - Qiita
JavaScriptでやる必要があるのだろうか…… サーバ側が対応してくれないので、rest apiを駆使してブラウザでcsvを作るとかでしょうか……？ まぁ、それは一旦横に置いておくとして。 utf-8だったらそんなに難しくないんですけれどもね。 その形式だとexcelに優しくないので、ShiftJISの形式にして頑張ってcsvを作ってみようと思います。 実装例とデモ https://github.com/fumihiko-hidaka/create-sjis-csv https://neko-tech-test-storage.storage.googleapis.com/create-sjis-csv/index.html こっちの方が楽だよ！ とかあれば、コメントやprいただければ 動作確認はchromeだけです 使ったライブラリ 日本語の変換用にencoding-japanese
名称 概要 詳細 コンストラクタとテーラリング 比較 ソート 部分文字列の検索 NOTE 照合レベル 漢字文字クラス 長音記号と繰返し記号の置き換え 処理系定義項目 [JIS X 4061, 6.2] 作者 参考 名称 ShiftJIS::Collate - Shift-JIS 文字列の照合 概要 use ShiftJIS::Collate; @sorted = ShiftJIS::Collate->new(%tailoring)->sort(@source); 詳細 このモジュールは、JIS X 4061:1996 （日本語文字列照合順番） に基づいて、Shift-JIS 文字列を照合、整列するための関数を提供します。 このモジュールは JIS X 4061:1996 の実装の一つであり、 照合規則は、上記規格に基づいています。 処理系定義項目も参照のこと。 コンストラクタとテーラリング
想定状況 jquery（1.10）を用いてajaxでCSV(Shift-JIS)を取得する 問題点と解決方法 問題：Shift-JISがうまくエンコードできずに文字化けする 解決方法 1)ファイルのエンコードを変更する ShiftJISエンコードできるようにまずhtmlとjsをShiftJISにエンコードします。 エンコードにはDreamweaverを使いました。 JSファイル（Shift-JIS） HTMLファイル（Shift-JIS） ※meta charset=utf-8になっていないか注意 2)サーバサイドで送出文字コードを指定する .htaccess
CyberDuckでFTP接続してる際、miとかMacvimとかがインストールされてると、サーバ上のファイルを直接変更（とほぼ同等のこと）が出来て、ちょっと修正したいとき、確認したいときなんかに便利。 （ODBインターフェイスってのに対応したエディタならいけるらしい） で、MacVim使ってるとSHIFT_JISのファイルが文字化けしちゃうんだけど、.vimrcをちょこっと書いてやるだけで簡単に解決できた。 "---------------------------------------------------------- " 文字コードの指定 set enc=utf-8 set fenc=utf-8 set fencs=iso-2022-jp,utf-8,euc-jp,cp932 "----------------------------------------------------
随分と長ったらしいタイトルですが、下記のような環境でShiftJISのCSVファイルをfgetcsv関数で読み込むと１文字目が文字化けするという現象に遭遇しました。最初は文字コードがらみの問題かと考えたのですが、先頭１文字だけ文字化けしている様子からカンマ区切りがうまくいっていない、つまりfgetcsv関数の問題ではないかと想像しました。 （もしかするとクライアントの環境も関係しているかもしれません。というのも、問題となるファイルをWindowsXP Home 32bitから読み込ませたところ、文字化けを再現することができませんでした。） Windows XP Professional Apache 2.2.20 PHP 5.3.5 クライアントはWindows7 HomePremium 32bit 検索して見つかったのはこちらPHP5 の fgetcsv() で読み込み内容が腐る現象。
go.textパッケージを使う $ go get code.google.com/p/go.text/encoding $ go get code.google.com/p/go.text/encoding/japanese 使い方を調べるためにsjisのファイルをeucjpに変換してコピーする処理を書いてみた package main import ( "code.google.com/p/go.text/encoding/japanese" "code.google.com/p/go.text/transform" "flag" "io" "os" ) func main() { flag.Parse() // 読み込むファイル read_file, _ := os.OpenFile(flag.Arg(0), os.O_RDONLY, 0600) defer read_file.Clo
Perl 5.8.X 以降で、プログラムの先頭で use encoding 'shiftjis'; と宣言すると… 標準入出力(STDIN, STDOUT)が :encoding(shiftjis)になる ソースファイル中の文字列が実行前に UTF-8に変換される ここまでは perldoc encoding とするとEUC-JPを例に英語で解説されている。 次のプログラムをテキストエディタで入力してShift-JISコードで保存して実行してみるとわかりやすい。 use encoding "shiftjis"; use Data::Dump qw/dump/; print "1:","\x{8868}","\n"; print "2:","\x95\x5C","\n"; print "3:",dump("表"),"\n"; 実行すると次のような結果になる。 1:表 2:表 3:"\x{88
こんにちは、Sayahamittです。 Macで書いていたC++コードをWindows VC++に持ってきたら文字コードでハマったのでメモしておきます。 今回は引数にUTF8エンコードのstd::string型文字列を取り、ShiftJISエンコードのstd::string文字列を返す関数と、その逆をやる関数を作りました。 バリバリのWindows API依存コードです。ごめんなさいm(__)m Windowsでは内部的な処理にはUnicodeが使われているにも関わらず、コンソールにおける入出力を始めAPIなど、ユーザーとのインターフェースには未だにShift-JISが使われているようで、UTF8など多バイト文字を直接利用出来ません。 WindowsAPIなんて殆ど触ったことがない自分も、もれなくこの問題に引っかかりました。 Win API を利用する場合にはMultiByteToWide
データアナリティクス事業本部の森脇です。 Go言語で文字コードを変換するための方法について調べました。 使用するGo言語のバージョンは1.13.6です。 パッケージのインストール 文字コード変換を行うために、準標準パッケージであるgolang.org/x/textを使用します。 $ go mod init example.com/moriwaki/iconv go: creating new go.mod: module example.com/moriwaki/iconv $ go get -u golang.org/x/text go: finding golang.org/x/text v0.3.2 go: downloading golang.org/x/text v0.3.2 go: extracting golang.org/x/text v0.3.2 $ cat go.mod
名称 概要 詳細 関数 基本的な正規表現 メタ文字 文字クラス 等価文字クラス 定義済み文字クラス 文字クラスの例 正規表現中の埋め込みコード (Perl 5.005 以降) 埋め込み修飾子 誤マッチを避ける 注意事項 既知のバグ 著者 関連モジュール 名称 ShiftJIS::Regexp - Shift-JISで書かれた正規表現 概要 use ShiftJIS::Regexp qw(:all); match('あお１２', '\p{Hiragana}{2}\p{Digit}{2}'); # これは次行と等価です。 match('あお１２', '\pH{2}\pD{2}'); match('あいいううう', '^あい+う{3}$'); replace($str, 'A', 'Ａ', 'g'); 詳細 このモジュールは、正規表現をShift-JISで書いてPerlで用いるための 幾つかの関
名称 概要 このPODについて 詳細 関数 文字列が正しいかどうかの確認 文字列の長さ 逆順 検索 文字列の前後の余分な文字の除去 部分文字列 分割 比較 文字範囲 文字の変換 変換のクロージャの生成 アルファベットの大文字・小文字 平仮名・片仮名の変換 空白類文字の変換 注意事項 バグ 著者 関連モジュール 名称 ShiftJIS::String - Shift-JIS 文字列操作関数 概要 use ShiftJIS::String; ShiftJIS::String::substr($str, ShiftJIS::String::index($str, $substr)); このPODについて このPODは、Shift-JISで書かれています。 'あ' が HIRAGANA LETTER A に見えますか ? また、'\' が REVERSE SOLIDUS ではなく YEN SIGN
半角と全角の混在するShiftJIS文字コードの扱い方(C/C++) - プログラミング講座 - fuku研究所
今回は、文字列を直接操作するにあたって、 日本語を含むShiftJIS文字列を操作するための扱い方についてです。 ShiftJIS文字コードでは日本語は2バイトで表現され、1バイト目に決まった値の範囲が入ります。 半角文字と全角文字の区別は、1バイト目の値を見て判断します。 問題は2バイト目だけを見ても判断できないことで、文字列の途中のあるバイトが半角文字なのか、 全角文字の1バイト目なのか、2バイト目なのかをそのバイトだけでは判断できません。 このため、途中のあるバイトの文字を区別したい場合でも、文字列の最初から見ていかなければいけません。 さて、その「全角文字の1バイト目」として決まっている範囲は 0x81-0x9F と 0xE0-0xFC の範囲です。 中途半端なこと この上ないのですが、こういうのは関数化しておけばいいですね。 int SJISMultiCheck(unsigned
Linuxで日本語のファイル名を持ったファイルをzip圧縮すると、Windows側で文字化けして読めないということがある。どうしても日本語のファイル名を使いたい場合は、ファイル名をUTF8からShiftJISに一時的に変更してzip圧縮する必要がある。 Windows, Linuxでのファイル名の文字エンコード別状況 UbuntuでShiftJISエンコードのzipを閲覧 → NG UbuntuでUTF8エンコードのzipを閲覧 → OK WindowsでShiftJISエンコードのzipファイルを閲覧 → OK WindowsでUTF8エンコードのzipファイルを閲覧 → NG つまり、どちらかのエンコードを選択すれば、両環境で閲覧できる「最適解」は存在しない。 自己解決というアタリマエのことが出来ない人が相対的に多いWindows環境に合わせて、ShiftJISエンコードでzip圧縮す
UnicodeにあってShiftJISにない文字
東京でソフトウェアエンジニアをやっています。 お仕事大募集中です。 記事執筆や、講師依頼とかでも何でもどうぞ(*^_^*) MSMVP Visual C# Since 2004/04-2013/03 をチェックするためにちょっと実験してみましょう。 .NET 3.5な環境でコンパイルしてください using System; using System.IO; using System.Text; namespace ConsoleApplication1 { class Program { static void Main(string[] args) { var sb = new StringBuilder(); var shiftjis = Encoding.GetEncoding("shift_jis"); for ( var i = 0; i < 0xffff; i++) { //サ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mt-daapd-0.2.4 ShiftJIS/UTF-8両対応パッチ
Perl 5.8.x で shiftjis 、CP932、MacJapanese の違い
)
ShiftJIS，Unicode(UTF-8) - プログラマー'sペイジ
ShiftJIS::Collate - Shift-JIS 文字列の照合
jQueryでShiftJISエンコードされたCSVを処理する - Qiita
Macvim ShiftJIS対策 - goryugo
PHPでShiftJISのCSVファイルをfgetcsvで読み込むと先頭１文字が文字化けする
Go言語でShiftJISのファイルを読む - メモ置き場
Perl 5.8.X の use encoding 'shiftjis' の副作用
UTF8なstring入れたらShiftJISなstring出てくる関数作った – mittBlog
Go言語(golang)でShiftJISのファイルをutf-8に変換する | DevelopersIO
ShiftJIS::Regexp - Shift-JISで書かれた正規表現
ShiftJIS::String - Shift-JIS 文字列操作関数
(Linux) ShiftJISエンコードのzipファイルを作成する (r271-635)