`<meta charset="UTF-8">` を書く必要性があるケースとデメリット
HTML 文書内に <meta charset="UTF-8"> を書いていますか? 書いているとしたら、その必要性を問われた時に理由を説明できますか? 実は私も勘違いしていた部分があり[1]、改めてまとめてみました。 <meta> による文字エンコーディング指定の歴史 Content-Type ヘッダーと <meta> の関係性と優先度 <meta> が必要なケース <meta> で文字エンコーディングを指定するデメリット <meta> による文字エンコーディング指定の歴史 § まず基本的なおさらいをします。<meta charset="UTF-8"> は HTML5 で登場した新しい記法で、 HTML4 以前は <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> などという長くて覚えにくい書き方をしてい
UTF-8 の文字列をできる限り Shift_JIS に変換したい(実践編) | うなすけとあれこれ
先日、きりきりやままさんがこのような記事を公開していました UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま それでは実際にそのような文字列変換を行うにはどうすればよいのか、またコメントでiconvについて触れられていたので、この記事ではUnicodeにおけるNFKC正規化をどうやって行うのか試してみることにしました。 追記 GoとPythonとJavaScriptでの例を足しました。またいくつかのscriptにおいてブラウザ上で実行できるURLを添付しました。 (2020-08-17 16:22) “Go” に表記を統一しました。 (2020-08-17 17:00) Ruby 僕にとって文字列処理といえばRubyなので、まずは以下のようなscriptを書いてみました。 puts "\u304c" puts "String#encode('Shift_
Macで濁点とかが起こす文字化け問題について
B! 24 0 0 0 Macの中でGNU screenなどを立ち上げると文字化けすることがありますが、 その辺の問題についてのメモ。 Macでの文字化け問題 問題の確認 Windowsでの文字化け問題 HomebrewでインストールするGNU screenの文字化け対策 Macでの文字化け問題 Macの中でGNU screenを立ち上げたらファイル名の表示などが文字化けしたりすることがあります。 殆どの場合は日本語ファイル名で濁点を使ってる場合で、文字コードの問題です。 ただ、単純にUTF-8かShift_JISか、とかそういったものではなく、濁点や半濁点の扱いの特殊さによります。 MacではFinderでもターミナル上でも基本的にUTF-8で文字を扱いますが、 UTF-8の中でもいくつか文字の取り扱いに対して違うものが存在します。 FinderではNFD(Normalization F
ゆうちょPayアプリで「佐々木」姓が認識されず、アカウント登録できないと話題に 現在は修正済み
ゆうちょ銀行のモバイル決済サービス「ゆうちょPay」で、「『佐々木』姓がアカウント登録できない」と話題になった。現在は修正済み。 ゆうちょ銀行が5月8日に開始したモバイル決済サービス「ゆうちょPay」だが、「『佐々木』姓がアカウント登録できない」と、8日夜からTwitterなどで話題になった。ゆうちょ銀行は9日午後1時に、修正版を配信した。 【修正：2019年5月9日午後3時 第1段落の文言の一部を変更しました】 ゆうちょPayのスマートフォンアプリは、初回利用時にアカウント登録をする必要がある。アカウント登録はメールアドレスを入力した後に氏名やパスワード入力に進むのだが、9日11時に試したところ、Android版アプリで氏名の登録時に「佐々木」を入力すると、「ひらがな、カタカナ、漢字、アルファベットのみ入力してください」というエラーが出てしまい、先に進めなかった。 名字を削ってみると、「
【WSL入門】第2回 避けては通れないWSLとWindows 10との文字コードの違い
Windows 10の中で、Linuxを動作させるWindows Subsystem for Linux（WSL）では、フル機能のコマンドやコマンドインタープリター（シェル）を利用でき、高度なコマンドライン機能を持つ（WSLのインストール方法については、「第1回 Windows 10標準Linux環境WSLを始めよう」参照のこと）。 WSLにUbuntuをインストールしたら、マニュアルの日本語化などを行おう。 WSLの基本設定 「パッケージのインストール」と「日本語対応」 Linux／UNIXでは、基本的な利用方法は、オンラインマニュアルをmanコマンドで検索して行う。コマンド名が分かっているなら、「man bash」などのようにmanコマンドに引数としてコマンド名を付けて実行する。 コマンド名が分からない場合には、キーワード検索を行う。例えば、「man -k editor」という感じだ。
Python3 でファイルの文字コードを変換する - Qiita
Python3 でファイルの文字コードを変換する方法を２つ紹介します。 今回は文字コードが「shift-jis」の CSV ファイルがあり、それを「utf-8」に変換するコードを書いてみます。 動作環境 Mac OS X 10.11.5 Python 3.5.1 codecs を使って文字コードを変換する codecs を使って文字コードを指定してファイルの読み書きができます。 # -*- coding:utf-8 -*- import codecs def main(): # Shift_JIS ファイルのパス shiftjis_csv_path = './download/shift_jis_data.csv' # UTF-8 ファイルのパス utf8_csv_path = './download/utf8_data.csv' # 文字コードを utf-8 に変換して保存 fin =
python2.6でdictionaryをjson化した際、日本語が\uXXXXにエスケープされないようにする CodingFirst
C言語、Perl、JavaScript、最近はPythonも。出来上がったものより、プログラムを書くことが好き。あと、スイーツ。 Python2.6でdictionaryをjson文字列化したときに 日本語が\uXXXXとUTF-16な文字列にエスケープさせないようにするのに苦労した。 (忙しい人は、最後の要するに～の部分をご参考に) Pythonでdictionaryをファイルに読み書きするとき、 テキストファイルで一番簡単なのはJSON文字列化する手だろう。 テキストにすると、エディタで編集できるし、diffもとりやすいし、gitやsvn管理した際に履歴も追いやすい。 だけど、JSON文字列化がむずかしい。 日本語が\\uXXXXとUTF-16な文字としてエスケープされてしまう。 これだと日本語部分をエディタで編集できなくなってしまうので、 いろいろ試してみた。 まず、dictiona
ひらがなをカタカナに一括変換する方法 - JavaScript TIPSふぁくとりー
《2017年6月13日 12:00 PM 公開/更新》 ひらがなをカタカナに一括変換する方法 [計算・変換] JavaScriptを使えば平仮名(ひらがな)を片仮名(カタカナ)を相互に一括変換するのも簡単です。ユーザが入力したフリガナ文字列を「カタカナ」か「ひらがな」のどちらかに統一する必要があるなどの場合に便利です。「カタカナ」と「ひらがな」は文字コードの並び順が同じなので、単純に足し引きするだけで相互に変換できます。JavaScriptで正規表現を使えば、文字列中に含まれる「ひらがな」や「カタカナ」だけを対象にして簡単に揃えられます。 平仮名(ひらがな)と片仮名(カタカナ)を相互に一括変換できると便利 平仮名(ひらがな)と片仮名(カタカナ)は、0x60を足し引きすれば相互変換できる 正規表現を使って、平仮名(ひらがな)を片仮名(カタカナ)に一括変換する方法 正規表現を使って、片仮名(カ
Python, convert 4-byte char to avoid MySQL error "Incorrect string value:"
I need to convert (in Python) a 4-byte char into some other character. This is to insert it into my utf-8 mysql database without getting an error such as: "Incorrect string value: '\xF0\x9F\x94\x8E' for column 'line' at row 1" Warning raised by inserting 4-byte unicode to mysql shows to do it this way: >>> import re >>> highpoints = re.compile(u'[\U00010000-\U0010ffff]') >>> example = u'Some examp
絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama
UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語
橋本商会 » UTF-8-MACをUTF-8に変換する
Twitterをterminalで見ていると、ごく稀に変な文字が入っているtweetがあって、それがUTF-8-MACだとgeta6に教わった。 Macだと「ぱぴぷぺぽ」など一部の日本語をファイル名にすると変な事が起こるのだが、それの原因がUTF-8-MACらしい。 そういう文字をDBに保存するとのちのち良くないので、Rubyで変換した。 Iconv使ったら簡単だった。 ■例 touch ぱぴぷぺぽ echo は<309a>ひ<309a>ふ<309a>へ<309a>ほ<309a> となる。 ただし、TerminalやiTerm2で「ぱぴぷぺぽ」をechoやlsしてもふつうに「ぱぴぷぺぽ」になってしまって、Rubyに渡して変換を試せない。 GNU Screen上でechoやlsするとUTF-8-MACの文字を出力できる。 ■Rubyで変換 インストール brew install iconv
日本語のWindowsは礼儀作法にうるさい？――英語環境で動作するコードが日本語環境でNGなワケ
日本語のWindowsは礼儀作法にうるさい？――英語環境で動作するコードが日本語環境でNGなワケ：その知識、ホントに正しい？ Windowsにまつわる都市伝説（86）（1/2 ページ） 英語環境では問題ないのに、日本語環境だと正常に動作しない。一見、単純なスクリプトでもそんなことがあります。その原因として、システムロケールの違いが大きく影響していることがあります。 テキストファイルにそのまま保存できないのはなぜ？ Windows OSは多言語対応で、極めて多くの地域、言語、通貨単位に対応しています。筆者は英語環境（en-us）と日本語環境（ja-jp）しか利用したことはありませんが、この2つの言語環境でも“文化の違い”に戸惑うことがしばしばあります。 例えば、Windowsの日本語環境では「C:\Windows」のように、ディレクトリ（パス）の区切り文字に「円記号（￥）」を使いますが、英語
Python2のstr/unicodeとencode/decode - Qiita
２種類の文字列 Python2には文字列が2種類ある。 ここではその2つを str文字列 および unicode文字列 と呼び、これらをまとめて 文字列 と呼ぶ。 公式ドキュメントでも用語があまり統一されていないので、とりあえずこう呼ぶことにする。 先に言っておくと、基本的にunicode文字列を使うべき。 str文字列 '...' リテラルで生成されるオブジェクト UTF-8, Shift-JISなどの符号化方式によって各文字を符号化して得られるバイトを並べたもの 1文字が複数バイトで表現されることもある str文字列そのものは、符号化に使われた符号化方式の情報をもたない 符号化方式を知るには基本的に片っ端から試すらしい 対話環境で 'あいう' と入力すると、 \x で1バイトずつ区切られたバイト列が返る
「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記
自分の知らないCJK Ideographのバリエーションがまだあったことに戦慄している pic.twitter.com/kUlyRLDDTM— moriyoshit (@moriyoshit) March 9, 2017 などというツイートをしたところ、思ったより反響があったのでまとめておく。 上記ではあいまいに「バリエーション」などと書いたが、Unicodeとそれを扱う環境においては、バリエーションと一口に言っても次のような状況がある。 意味論的に等価な異なる字形の集合 同じ字形で異なるコードポイントの集合 aは結構なじみ深いと思う。 a-1. 異なるコードポイントにそれぞれ異なる字形が割り当てられているもの 例: 「東」(U+6771) ⇔「东」(U+4E1C) 「斉」(U+6589) ⇔「齊」(U+9F4A) 「高」(U+9AD8) ⇔「髙」(U+9AD9) a-2. 同じコードポイ
Unicode と JavaScript の文字列について - Object.create(null)
パーサコンビネータ を作っていたとき, 最近流行りの (?) 絵文字が変数名として使えるような言語を作る場合に, 正しくコード中の扱うにはどうしたら良いかなどを考えていたら, Unicode と JavaScript の文字列に関する理解が得られたので, ここに共有します. とはいえ, JavaScript の文字列がどう表現され, どう扱われるのかについてが主で, それ以外, 例えば正規化については紹介すらできていませんのでご了承ください (気が向いたら追記するかも). Unicode について JavaScript の文字列について説明する前に, ざっくり Unicode の仕組みや用語を抑えておきます. Unicode は文字集合 (character set) や, 以下に挙げるような符号化方式などを定義した文字コードの規格 文字集合中の文字は符号位置 (code point) と
【初心者でも知っておきたい】Linuxでの文字コードの確認と変更方法
Linuxでの文字コード設定はシステムやWebサイトの表示に直結してくる。 初心者の方が、Linuxを触って困ることの一つがこれだろう。CUIで操作しているのもわからないのに、なぜか文字が化けて出てくるわけだ。お手上げ状態になる。 このページではLinuxでの文字コードの確認と変更方法をお伝えする。参考にしてほしい。 文字コードとは？ 「文字コード」とはコンピュータ上で文字を表現するためのバイト表現方法である。文字を符号で扱う仕組みともいえる。 文字コードの歴史は非常に長く、電気通信技術と足並みをそろえている。初期ではアルファベットなどしか扱うことができなかったが、多言語への対応や拡張のために多数の文字コード規格が乱立した。 文字コードが不一致な環境でテキストデータを開くと「文字化け」をひきおこす。下記のようにviでファイルを開いても読めないことが起こるわけだ。何が書いてあるかまったくわか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
外字を使うのはやめてくれ！ Unicodeへの移行を呼びかけるMicrosoftの公式ブログ記事が話題に／今や「メモ帳」でさえテキストファイルをUnicodeで保存する時代！ Shift_JISはやめよう【やじうまの杜】
VS Codeでエンコーディングを変更、自動判別するには
Python 2.7: Save unicode string to file not using '\uXXXX' but using UTF-8.
Cannot compile 8 digit unicode regex ranges in Python 2.7 re