Rubyの内部文字コードはUTF-8ではない...だと...？！｜TechRacho by BPS株式会社

こんにちは、hachi8833です。 少し前に、babaさんから「Rubyの内部文字コードはUTF-8じゃないよ」とツッコミがありました。 （追記: 上は会話の途中から切り取りましたのでご了承ください） いきなりの展開にくらくらきましたが、babaさんはさらにたたみかけます。 こうしたことはとっくにご存じの方も多いと思いますが、「Rubyといえば2.0以来UTF-8完全対応なんじゃないの」と勝手に思い込んでた私は脳に掌底を食らったような思いです。ああ、でもこういうことがあるから面白い。 ⚓ プログラミング言語と内部文字コードの関係 まず最初に押さえておきたい点です。プログラミング言語で文字コードに関連する部分は、「文字列」「正規表現」「入出力」「コード中の文字リテラル（""の中など）」「コード中の文字リテラル以外の要素（変数名など）」「ファイル名」などが中心になります。そして文字列に関連し

[fukken]

極めて先進的な言語であるPHPでは、文字列とはそもそもバイナリの事であり、mp3だろうがテキストファイル読み込みと同様のfile_get_content()で読み込んでsubstr()などの文字列処理関数で処理してそのまま出力できる

[kimuraw]

1.9時代の記事だけど、るびまの「Ruby M17N の設計と実装」おすすめ http://magazine.rubyist.net/?0025-Ruby19_m17n

[masatomo-m]

中の人（morimori）です。ぶっちゃけ普通にコード書いてる分には意識しないで良い話ですよ。言語標準としての文字列クラスの文字コードがあるかどうかという話だと思ってます（そこまで専門じゃないのでマサカリ歓迎

[kmaebashi]

UTF-16に含まれない文字って「それなりにある」かなあ? JavaのStringも、サロゲートペアになって面倒だけど、UCS-2外の文字を格納できるわけですが……

[tsekine]

ブコメ見ると、もはや日本人ですら UTF-8 マンセーなのね。CSI とか、ライブラリ実装側はいや〜んなので、matz さんの冒険心はすごいと思う（小並感

[practicalscheme]

符号化だけ見るとCSIって良さげなんだけど、Unicodeってその上の層があるんで、修飾子文字の正規化とかソート、書記素集団や単語の分割等、Unicodeに乗っからないと全部自分でやり直すことになるんだよな。

[t-murachi]

「保存」という言葉の使い方がすごく引っかかる… 「保持」とかじゃ駄目なん? (´･ω･`)

[tettekete37564]

“Unicode以外の文字コードでも直接保存できます。つまり〜事実上バイナリとして保存” < perlもそうだけど？use utf8プラクマとか使わなければ。逆に言うと大昔に書かれたperlでもコードと入出力がutf8なら大体そのまま動く。

[koseki]

「ソースコードの文字コードを決めていったい何がしたいんだこの人は」の意味がわからない……。

[todesking]

“内部表現をUnicodeの文字コードに統一する方式をUCS正規化と呼びます” 「Unicode正規化」とは無関係の概念らしい

[iga_k]

Rubyの文字コードに関する良い記事〜！

[fenrir-naru]

文字列の内部での保存形式について 変態的

[anatofuz]

思ったよりすごい世界観っぽい

[zyzy]

Haskellの文字コード変換に悩んで「最初っから全部ByteStringになりませんか？」って思ったことあったけど、やっぱそっちが正解な気がしてきた。

[rryu]

ソースコードはASCIIでいいなんて、javacがASCIIしか受け付けなくてnative2asciiで変換したりした時代に戻りたいというのだろうか。

[p_tan]

文字列は闇だ

[zu2]

“Ruby 1.8以前は文字列をASCII単位で扱い” ?

[Nagise]

非UnicodeというかUnicode非互換の開発って普通にツラそうだな

[iww]

脳に掌底くらうとこんなんなるのか・・・

[xenon_abe]

昔Java使い始のころString内部はバイナリだと思っていて理解に手間取った思い出

[junjun777]

そうなのか。Ruby素晴らしい。／「テキストエディター」は幻想。「バイナリエディター」しかないよ。（非ASCIIな人には）

[deep_one]

内部文字コードは「なかった」／確かに「ライブラリの範疇だろ」という事はできるのだな。

[omron]

RubyはCSI（Code Set Independent）

[uturi]

文字列だけ特殊であってそれ以外はバイナリで問題ないだろという設計なのか。なるほど。

[IGA-OS]

一つ知識を得た

[Rinta]

なるほどねー。認識が新たになりました。

[n314]

http://dibtp.hateblo.jp/entry/2014/07/22/213643 これ？なんでソースコードの文字コードの話が内部実装の話になっているんだ？

[kaz_hiramatsu]

ここでいう内部文字コードってRString構造体のことなのかな

[lambdalisue]

へぇ、知らなかった

[berlysia]

（ちがったらしい→）ここで出てくるbabaさんってbabascriptとかやってた人か

[masutaka26]

安心した。