文字列でUTF-8でエンコードされたテキストを保持する - The Rust Programming Language 日本語版
文字列でUTF-8でエンコードされたテキストを保持する 第4章で文字列について語りましたが、今度はより掘り下げていきましょう。新参者のRustaceanは、 3つの概念の組み合わせにより、文字列でよく行き詰まります: Rustのありうるエラーを晒す性質、 多くのプログラマが思っている以上に文字列が複雑なデータ構造であること、そしてUTF-8です。 これらの要因が、他のプログラミング言語から移ってきた場合、一見困難に見えるように絡み合うわけです。 コレクションの文脈で文字列を議論することは、有用なことです。なぜなら、文字列はテキストとして解釈された時に有用になる機能を提供するメソッドと、 バイトのコレクションで実装されているからです。この節では、生成、更新、読み込みのような全コレクションが持つStringの処理について語ります。 また、Stringが他のコレクションと異なる点についても議論し
絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama
UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語
Rubyist Magazine - スはスペックのス 【第 1 回】 RSpec の概要と、RSpec on Rails (モデル編)
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0063 号 バックナンバー Rubyist Magazine 0063 号 Rubyist Magazine 0062 号 Kaigi on Rails 特集号 RubyKaigi Takeout 2020 特集号 Rubyist Magazine 0061 号 Rubyist Magazine 0060 号 RubyKaigi 2019 直前特集号 Rubyist Magazine 0059 号 Rubyist
Rubyの内部文字コードはUTF-8ではない...だと...？！｜TechRacho by BPS株式会社
こんにちは、hachi8833です。 少し前に、babaさんから「Rubyの内部文字コードはUTF-8じゃないよ」とツッコミがありました。 （追記: 上は会話の途中から切り取りましたのでご了承ください） いきなりの展開にくらくらきましたが、babaさんはさらにたたみかけます。 こうしたことはとっくにご存じの方も多いと思いますが、「Rubyといえば2.0以来UTF-8完全対応なんじゃないの」と勝手に思い込んでた私は脳に掌底を食らったような思いです。ああ、でもこういうことがあるから面白い。 ⚓ プログラミング言語と内部文字コードの関係 まず最初に押さえておきたい点です。プログラミング言語で文字コードに関連する部分は、「文字列」「正規表現」「入出力」「コード中の文字リテラル（""の中など）」「コード中の文字リテラル以外の要素（変数名など）」「ファイル名」などが中心になります。そして文字列に関連し
なんで愛が生まれるのか - Qiita
この記事の概要 いろんな言語で愛が生まれまくってるけど誰も説明記事書いてなかったので 説明してみる 生とは Unicode Utf-8 バイナリ
Windowsにvimをインストールするときにやることリスト（備忘録） | びーおーぷんどっとねっと
windows10でvimを使うためにすること。 特に、難しいことは何もしていないのですが、備忘録。 vimのダウンロード 自分ではビルドできないので、簡単に利用できる「香り屋」さんのvimを利用させてもらっています。 こちらからダウンロード → Vim — KaoriYa これ1つをダウンロードして解凍すればすぐにVimを使うことが出来ます。 ありがとうございます。 環境変数に追加 次にコマンドプロンプトからでも動かせるように環境変数を追加する。 コントロールパネル → システム → システムの詳細設定 → 環境変数 いつも場所がわからなくなるので・・・。 UTF-8化 utf-8でつくったりしたのが文字化けするので。 Kaoriya版Vimのフォルダ内にある /switches/catalog/utf-8.vim を /switches/enabled へコピー これでおしま
MySQLトラブル。文字コード&再起動 - 海野の備忘録とかそんなの
インストールしたはいいものの、Railsで作ったシステムでMySQLで登録した内容をみると日本語が？になってる。 ・・・あ、MySQLをUTF-8にしてないｗ 再インストールしてもいいが、/etc/mysql/my.confを編集することにした。 とりあえず、手当たり次第に character-set-server=utf8を追加してみる。 再起動 # /etc/init.d/mysql restart Rather than invoking init scripts through /etc/init.d, use the service(8) utility, e.g. service mysql restart Since the script you are attempting to invoke has been converted to an Upstart job, yo
PostgreSQLのコマンド一覧
PostgreSQLの基本的(よく使う)コマンドです。 [toc heading_levels="2"] データベースの一覧を見る データベースの一覧を見る方法です。 構文 \l 使用例 postgres=# \l List of databases Name | Owner | Encoding -----------+----------+---------- postgres | postgres | UTF8 sasuke | postgres | UTF8 sasuke2 | postgres | UTF8 template0 | postgres | UTF8 template1 | postgres | UTF8 test1 | postgres | UTF8 (6 rows) テーブルの一覧 テーブルの一覧の確認方法です。 構文 \d 使用例 postgres=# \d L
RubyのMechanizeで文字化けするページがある件について | インサイドフラッギング
Mechanizeがときどき日本語のページで文字化けするので、原因と解決方法を調べてみた。確認したバージョンは次の通り。 Ruby 1.9.1-p378と1.8.6-p111（Ubuntuのパッケージ） Mechanize 1.0.0 Nokogiri 1.4.2 libxml2 2.6.31（Ubuntuのパッケージ） エンコーディングの扱い Mechanizeの内部エンコーディングはUTF-8に固定されていて、ドキュメントのエンコーディングが何であれUTF-8に変換される。これはMechanizeがHTMLパーサに使っているNokogiriの仕様であり、Nokogiriが依存しているlibxml2の仕様でもある。そういう事情でMechanizeから取り出した文字列はすべてUTF-8になっている。Ruby 1.9だとString#encodingはEncoding::UTF_8にセットさ
Vimで文字コードを確認・変更する - かわろぐ
文字コードを確認する方法 現在編集しているファイルの文字コードを知りたい！というときは、Vimではノーマルモードで下記のようにコマンドを入力すると現在設定されている文字コードを確認することができます。 :set enc? セットされてるエンコードなーに？っていうコマンドですね。実行結果がこちら、このファイルはUTF-8ということがわかります。 文字コードを変更する方法 現在設定されている文字コードはわかりましたが、変更したい！というときは、ノーマルモードで以下の様にコマンドを入力すると文字コードを変更することが出来ます。 :set fileencoding=文字コード :set fenc=文字コード（上の短縮版）文字コードにはeuc-jp,shift_jis,utf-8などが入ります。ファイルの改行コードを変更する方法は :set fileformat=ファイルフォーマットの種類 :set
vimエディタで「文字コード、改行コードを変更して保存する。」
vimエディタで、ファイルの文字コード、改行コードを修正、もしくは変更する時の話。 ファイルの文字コードや、改行コードを変更する時は、 変更したいファイルを開いた状態で、 ・文字コードの変更 :set fileencoding=文字コード :set fenc=文字コード (上のコマンドの短い形式。こちらでも良い。) :set fileencoding=euc-jp (エンコーディングEUC-JPに変更。) :set fileencoding=shift_jis (エンコーディングSHIFT_JISに変更。) :set fileencoding=utf-8 (エンコーディングUTF-8に変更。) ・ファイルフォーマットの種類の変更 :set fileformat=ファイルフォーマットの種類 :set ff=ファイルフォーマットの種類 (上のコマンドの短い形式。こちらでも良い。) :set f
vimによる日本語文字コード自動判別と文字コード変換 [AFFRIT Portal]
フロントエンドサーバのロケール環境は、LANG=en_US.UTF-8になっていますが、SASはEUCが標準となっています。 フロントエンドサーバでは、EUCのファイルは文字化けしてしまうので、SASのプログラムやデータを編集したり表示する場合には、UTF-8に変換する必要があります。 vimは標準で文字コードの自動判別や変換に対応しているので、vimやviewを使えば、UTF-8環境のフロントエンドサーバでもEUCのファイルを編集したり表示することができます。 WindowsのPCとのファイル転送を行う場合に、改行コードの変換が必要となりますが、改行コードについても文字コードと同様にvimでの自動判別や変換が可能です。 vimの文字コード自動判別を有効にするには、“.vimrc”を設定する必要があります。
Rubyでファイルを扱うまとめ - むかぁ～ どっと こむ
WEB系技術屋の管理人が、ネット・デジタル中心に日歩をつらつら LinuxやらRuby、Javascriptなどなど記事を載せています mukaer.com # open options r read only w write only a append only r read write w read write a read write append b binary mode 例 a b # File method read 読み込み全体 readlines 読み込み 行 foreach 読み込み 行 each_byte 読み込み 1byte gets 読み込み行,順次ファイルポインタ移動 wirte 書き込み 引数1のみ puts 書き込み 引数をそれぞれ改行表示 putc 書き込み １文字 << 書き込み 連結 print 書き込み 引数は複数持ち連結 printf 書き込み 書
WindowsのKaoriya版vim/gvimの問題と対処 - fudist
Kaoriya版gvimでメニューにアイテムを登録するプラグインを使用する場合、Kaoriya版ではアイテムが日本語化されずにメニューへ英語で追加されます。 たとえば mru.vimを使うと File(F) と ファイル(F)が出来てしまうため、ファイル(F)メニューをよく使う場合は面倒なことになります。 また以下のようなメッセージが出てツールバーが表示されなくなる場合もあります。 C:\vim73-kaoriya-msvc10_x32j\runtime\menu.vim の処理中にエラーが検出されました: 行 122: E329: "&Print" というメニューはありません 原因はどちらも同じで Kaoriya版が vimrc_example.vim を vimrc の中で読み込んで filetype plugin indent on を設定しているためです。 mru.vimをplug
UnicodeとUTF-8の違いは？ - Humanity
という2chのスレがかなり勉強になったのでまとめ。 少しでも有用だと思ったものは載せてあるので結構長いです。 Unicodeのような文字集合(符号化文字集合？)やUTF-8のようなエンコーディング方式に限らず色んな文字コードにまつわる話があります。 たびたび話が繰り替えされますがそれは確認ということで。 (元スレ) 追記：簡単にまとめました。 1 ：デフォルトの名無しさん：2007/04/30(月) 20:02:37 ビッグインディアンとかなんとかかんとか 3 ：デフォルトの名無しさん：2007/04/30(月) 20:05:48 また、頭の悪そうなスレが・・・ >>1 それは魚とマグロの違いを訊ねるようなもんだ。 4 ：デフォルトの名無しさん：2007/04/30(月) 20:06:49 魚と鮪というよりは、魚と刺身の違いのような気がする。 5 ：デフォルトの名無しさん：2007/04/
Ruby 2.0では（UTF-8なら）マジックコメントが不要になるか
何気なくRailsのコミットログを見ていたら、こんなコミットが。 Ruby 2.0.0 defaults source encoding to utf-8 so we need to specifically tag this file with us-ascii https://github.com/rails/rails/commit/8f3f50a3cca98a322083269562d446498825ad5f ぐぐってみるとRubyのsvnログ（11/6）を発見。 set default source encoding as UTF-8 instead of US-ASCII http://svn.ruby-lang.org/cgi-bin/viewvc.cgi?view=revision&revision=37485 Ruby2.0では # encoding: utf-8 とい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hamano/locale-eaw: East Asian Ambiguous Width問題と絵文字の横幅問題の修正ロケール
RLogin(Win32用rlogin/telnet/sshターミナルソフト)
Why I can't install rails with gem install rails -v 4.0.0?
ログイン - Google アカウント