Ruby で UTF-8 の文字列を SJIS で文字化けさせたり復元したりする - Secret Garden(Instrumental)
以下の記事を知人と話していたら思ったよりも盛り上がったので覚書。 新春！文字化けクイズ | Raksul ENGINEERING ちなみにクイズのネタバレがあるので見たくない人は読まないでね！！ 縺ゅ¢縺ｾ縺励※縺翫ａ縺ｧ縺ｨ縺 みたいな文字化けした文字列を Ruby で生成する 言及されている文字化けは『 UTF-8 な文字を SJIS で表示すると文字化ける』っていうような話になります。 では、Ruby でこのような文字化けを行う場合どうするのがいいのでしょうか。 これは要するに『 UTF-8 を SJIS として扱い UTF-8 で変換する』という処理で実現することができます。 まず、Ruby のデフォルトのエンコーディングは utf-8 なので単に文字列リテラルを定義した場合は utf-8 の文字列になります。 # 文字列リテラルは utf-8 utf8 = "やばたにえん" pp
新春！文字化けクイズ - RAKSUL TechBlog
初めまして、「文字化けおじさん」です。社内で文字化け事案が発生するといつの間にかその場に居る（リモートワーク環境下では、Slackのチャンネルに現れる）ことから、このような名前になりました。好きな食べ物は豆腐です。本業は印刷事業のサーバサイドエンジニアです。 さて、ラクスルではいくつかの事業が動いておりますが、どの事業も文字化けとは無縁ではありません。例えば印刷事業であれば印刷工程の途中で化けたり、運送事業（ハコベル）であれば住所の文字が化けたり等、様々なことが起こり得ます。文字化けの対応には幅広い知識が必要になることも多く、学習するのが大変であるということで、社内向けに文字化け学習用のコンテンツを用意しようとしておりました。途中まで作っていたのですが、新年のめでたさに乗じて一部を社外に公開しちゃえ！ということでこの記事ができました。 という訳で、クイズの時間です！ これから、文字化けやそ
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話 利用シーン UTF-8で記述されたテキストをShift-JISエンコードに変換する機会はあります。 UNICODEで表現できる文字の種類の方がShift-JISに比べて圧倒的に広いのですべての文字が変換できるわけではありませんが、「これは変換できてよかろう」というものまでこぼれ落ちるケースは多数あります。 以下こぼれ落ちる例とその対応を示します。 サンプルコード まずはサンプルコード。 rubyで記述していますが、原理はどの言語でも同じです。 str = "あ～あ①髙島屋パバぱ" sjis = str.encode(Encoding::Shift_JIS, :invalid => :replace, :undef => :replace) File.
Dockerでbundle installしたときにinvalid byte sequence in US-ASCII (ArgumentError)が出る場合の対処法
Dockerでbundle installしたときにinvalid byte sequence in US-ASCII (ArgumentError)が出る場合の対処法 問題 Dockerで作ったRuby環境でbundle installしたときにinvalid byte sequence in US-ASCII (ArgumentError)というエラーが出た。 bundle install --without production --retry=3 --path vendor/bundle /bin/bash: warning: setlocale: LC_ALL: cannot change locale (en_US.utf-8) Your Gemfile lists the gem byebug (>= 0) more than once. You should probabl
ZIP中のファイル名の文字化け(Ruby編) - tmtms のメモ
tmtms.hatenablog.com という記事を書きましたが、今回はRubyでZIPファイルを作る時の話を。 RubyでZIPファイルを作るには、rubyzip というライブラリを使います。 % gem install rubyzip 次のようにしてZIPにファイルを追加できます。 require 'zip' Zip::File.open('hoge.zip', Zip::File::CREATE) do |zip| zip.add('いろはにほへと.txt', '/path/to/いろはにほへと.txt') end Zip::File#add の第一引数はZIP内に記録されるファイル名、第二引数は実際のファイルのパスです。この二つのファイル名は同じである必要はありません。 ただし、この場合はUTF-8フラグがセットされません。つまりWindowsの標準機能で開くと文字化けしてしまい
Rails 5 と MySQL 5.6 環境における utf8mb4 を扱う設定について - Qiita
development: adapter: mysql2 pool: 5 username: root password: database: utf8mb4_sample_development charset: utf8mb4 collation: utf8mb4_bin encoding: utf8mb4 以降では、ここで設定した charset, collation, encoding がどういう役割を担っていくかの一部を見ていきます。 charset と collation 設定 上記の database.yml に設定した状態で、bin/rails db:create を行うと以下のようになっています。 character_set_database 以外はサーバー自体の設定が utf8 なので気にしないでください。 私が利用している Aurora の設定に合わせてあるだけです。
Dockerで立ち上げたMySQLにログインすると日本語が文字化け
TL;DR DockerでRailsとDBのコンテナを作成しWebアプリケーションを作成してたところ ブラウザ上では日本語が文字化けしないがdbコンテナの中に入ってmysqlにログインすると ???? に文字化けしている現象に遭遇した。 対象読者 or 前提条件 or 環境 DockerでMySQLコンテナを使用するマルチバイトなひと まずは調査 「Docker mysql 文字化け」でぐぐってみるとどうやら character_set_server=utf8 でないと発生するという記事が大量にヒットする。 Docker公式イメージのMySQLで文字コードを指定するのエントリを参考に過去にdocker-compose.ymlには対応を実装していたのでどうやらこれが問題ではなかった。 そもそもなにが原因で文字化けしてるのかがわからなかったので調べてみた。 $ mysql mysql> sta
rails - Mysql2::Error: Incorrect string value - そういうことだったんですね
次のエラーがでた場合。 Mysql2::Error: Incorrect string value: 原因を調べる おおむね、データベースの文字コードを確認する。 たいてい latin1 とかになっている。 $ mysql -uuser -p my_db mysql > show create table posts; CREATE TABLE `posts` ( `id` int(11) NOT NULL AUTO_INCREMENT, `title` varchar(255) DEFAULT NULL, `text` text, `created_at` datetime DEFAULT NULL, `updated_at` datetime DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAUL
Docker公式イメージのMySQLで文字コードを指定する - Qiita
Docker公式のMySQLイメージを使用 Docker Composeを使ってDocker公式のMySQLイメージを利用したら文字コードでハマった。 下記構成でDocker Compose利用時、アプリサーバとMySQLサーバの文字コードが相違した。 version: '2' services: db: image: mysql:5.5 volumes: - data:/var/lib/mysql environment: MYSQL_ROOT_PASSWORD: 'password' ports: - 3306 cache: image: memcached:1.4 ports: - 11211 rails: build: . command: bundle exec rails s -p 3000 -b '0.0.0.0' volumes: - .:/opt/rails ports:
Javaで文字コードの変換をしたい
1import java.nio.charset.StandardCharsets; 2import java.nio.charset.Charset; 3 4class U8SJ { 5 public static void main(String[] args) { 6 // String str = "aあ①????"; 7 // byte[] u8bytes = str.getBytes(StandardCharsets.UTF_8); 8 byte[] u8bytes = { 9 (byte)0x61, // a 10 (byte)0xE3, (byte)0x81, (byte)0x82, // あ 11 (byte)0xE2, (byte)0x91, (byte)0xA0, // ① 12 (byte)0xF0, (byte)0xA0, (byte)0xAE, (byte)0x
MySQLの照合順序 - Qiita
やってみた MySQLの照合順序、UTF-8の日本語で使える照合順序はいくつかあるけど、 実際にどんなマッチの仕方をするのかわからなかったので、ちょっとやってみた。 ちなみに、MySQLのUTF-8で日本語を扱う場合に使用可能な照合順序はしたの3つ。 utf8_bin utf8_general_ci utf8_unicode_ci 確認したかったのは、半角・全角、小文字・大文字がどんな感じでマッチするのかという事。 ながーいので、結果を utf8_bin キャラクターコードが完全に一致するもののみマッチする。 utf8_general_ci アルファベットの大文字・小文字は区別せずにマッチする。 ただし、区別しない文字は、半角は半角の大文字・小文字、全角は全角の大文字・小文字のみ。 半角小文字と全角小文字同士はマッチしない。 utf8_unicode_ci 下記がマッチする。 アルファベッ
MySQL(InnoDB) で "Index column size too large. The maximum column size is 767 bytes." いわれるときの対策 - かみぽわーる
tl;dr: MySQL 5.5.14以降だとinnodb_large_prefixオプションで3072バイトまでインデックス張れる MySQL(InnoDB)では、ひとつのカラムのキープレフィックスの最大値が767バイトという制限があるので、ついうっかりして Index column size too large. The maximum column size is 767 bytes. とか Specified key was too long; max key length is 767 bytes といったエラーを見たことある人は多いのではないかと思います。 よくあるケースだと、varchar(256)以上のutf8なカラムにインデックスを張ろうとするとこのエラーとご対面できます。 CREATE TABLE t (c varchar(256), index (c)); ERROR
rubyで㈱などの機種依存文字をUTF-8に変換する
“㈱"や"㈲"などの文字をCSVなどからShift_JISで取り込み、rubyでUTF-8に変換するときにUndefinedConversionでハマった。 "㈱".encode('UTF-8', 'Shift_JIS') > "\x87\x8A" from Shift_JIS to UTF-8 > /User/sanojimaru/workspace/example/lib/string.rb:849:in `encode': "\x87\x8A" from Shift_JIS to UTF-8 (Encoding::UndefinedConversionError) Shift_JISは一部の機種依存文字に対応していないので、CP932(Windows-31J)を使えば良い。 "㈱".encode('UTF-8', 'CP932')
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
