「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita
物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の納品時に言われていたのは、「文字コードがUTF-8ではないものは変換して納品してくれ」ということ。 そして、ご指摘いただいたのは、今回の更新案件で中身はいじらなかったJavaScriptファイル。 本来ならば納品するファイルではないのですが、文字コード変換という要件があったため、納品ファイルとして加えられたものでした。 一括で文字コードを変えたので作業漏れかなぁと思っていました。 ファイルの中身は記事用にかなり適当につくったものですが、まあだいたいこんな感じです。
不必要な制御文字への対処 - pixiv inside
こんにちは、晴れて2020新卒になったmipsparcです。最近は趣味の鉄道技術系同人誌の新版が出来上がって喜んでいます。 本記事では、入力値には必ずと言っていいほど混入する不必要な制御文字への対処方法をご紹介します。ユーザーに文字列を入力してもらうことのあるすべてのサービスで活用できる話かと思います。 不要な制御文字が入ることで生じる問題 前提として、この記事は制御文字類が必ずしも邪魔と言いたいわけではありません。 制御文字は多言語対応(特に右から左方向に記述する言語)などで重要なときもありますが、今回は問題が発生しうるケースのお話をします。 「腐向け」 「メリークリスマス」 「ゾンビ」 なんの変哲もない3つのイラストタグですが、どれも不可視の制御文字が混入しています。 $ php -r "var_dump(json_encode('腐向け'));" string(26) ""\u2
Python 3で日本語をprintする際のUnicodeEncodeErrorはLANGに気をつける - Qiita
サマリ Python3でUnicodeEncodeErrorが起きたときには LANG=ja_JP.UTF-8 と環境変数が設定されているか確認する language-pack-ja がインストールされているか確認する 現象 今まで7年ほどPython 2系を使ってきましたが、そろそろ3系に移ろうと思っています。 Python3では、文字列まわりがUnicodeに統一されて、便利になったと聞いていたのですが、UnicodeEncodeErrorでつまづきました。 OSはUbuntu 14.04.4 LTSでPythonはpyenvで入れた3.5.2です。 実行したコードは下記のHello Worldです。
Windows-31Jに変換する時の例外を防止するためのString拡張 - Qiita
class String def sjisable str = self #変換テーブル上の文字を下の文字に置換する from_chr = "\u{301C 2212 00A2 00A3 00AC 2013 2014 2016 203E 00A0 00F8 203A}" to_chr = "\u{FF5E FF0D FFE0 FFE1 FFE2 FF0D 2015 2225 FFE3 0020 03A6 3009}" str.tr!(from_chr, to_chr) #変換テーブルから漏れた不正文字は?に変換し、さらにUTF8に戻すことで今後例外を出さないようにする str = str.encode("Windows-31J","UTF-8",:invalid => :replace,:undef=>:replace).encode("UTF-8","Windows-31J") end
波ダッシュ、全角チルダ問題まとめ - Qiita
そもそも、波ダッシュと、全角チルダって? 波ダッシュ 〜 0x8160(Shift_JIS) 0x301C(UTF-8) WAVE DASH(ユニコードポイント : U+301C) 日本語の文字 範囲を表す : 大阪 〜 東京 など 省略記号 : 〜 からの 全角チルダ ～ Shift_JIS には無い 0xFF5E(UTF-8) FULLWIDTH TILDE(ユニコードポイント : U+FF5E) いろんな意味がある文字 アルファベットの上につけて、鼻音を表す : ñ 数学記号 (ほぼ等しいの意味) ホームディレクトリを表す記号 : ~/download Unicode 側での波ダッシュ割り当てミス Shift_JISの波ダッシュ を Unicode に割り当てるときに、 波ダッシュの形を間違えて、"下がって上がる" ように表記してしまった ※ unicode 8.0 で修正されました
Python でUTF-8, shift_jis, euc_jpなど日本語を使う方法
[Home] [Setting up Mac OS X] [Python]: [ファイルを読む] 日本語を使う Pythonで日本語を使う Python 2.4以降では、標準で日本語を扱うことができます。 PythonのソースコードをUTF-8で書くには 日本語を扱うPythonのスクリプトの中では、UTF-8の文字コードを使うのが 楽です。 Mac OS Xのターミナルで日本語を扱う場合は、 ここの「4. Terminalの設定を変える」の 指示に従ってください。 以下、ソースコードの簡単な例を示します。 #!/usr/bin/env python # -*- coding: utf-8 -*- import re jtext = u'子猫が隠れんぼをしています' print 'jtext has', len(jtext), 'Japanese characters.' if re.se
文字エンコーディングを変換するとき、対応していない文字を数値実体参照に変換する - Qiita
参考: 神名地名難読漢字・ユニコード対照表 この投稿では、この処理を実現する方法について紹介します。 前提知識:対応していない文字とは? 世界には様々な文字が存在し、それをコンピュータで扱う場合は対応する数値に変換する必要があります。 この、数値に変換するときのルールがいわゆる文字コードで、この投稿でいうところの「文字エンコーディング」です。 このルールには様々な方式があります。例えばUTF-8やShift_JIS、EUC-JP、JIS(ISO-2022-JP)など。 これ以外にも、Big5、GBK、US-ASCIIなど、様々です。 このルールは、Unicode(後述)が登場するまでは国ごとにバラバラで、自国の文字を表示するために新しいルールを作ったり、既存のルールを拡張したりしていました。 そしてこのルールを作る時、データ量を減らすため、また文字の処理を容易にするために対応する文字の数を
String#encode (Ruby 3.3 リファレンスマニュアル)
encode(encoding, **options) -> String[permalink][rdoc][edit] encode(encoding, from_encoding, **options) -> String encode(**options) -> String self を指定したエンコーディングに変換した文字列を作成して返します。引数を2つ与えた場合、第二引数は変換元のエンコーディングを意味します。さもなくば self のエンコーディングが使われます。無引数の場合は、Encoding.default_internal が nil でなければそれが変換先のエンコーディングになり、かつ :invalid => :replace と :undef => :replace が指定されたと見なされ、nil ならば変換は行われません。 [PARAM] encoding: 変換先
「和」や「郎」の入った名前の人は、Internet Explorerのクッキー/セッションの不具合に注意
いやあ、こんなエントリーを書く日が来るとは・・・・。 ３行でまとめると、 ====================== 症状： 自動アップデートの後、自動インストールされた Internet Explorer 11でログイン情報などが記憶されない。（クッキーがまったく効かない） 原因： Windowsユーザフォルダ名（C:\ユーザー\ のフォルダ）に「郎」の漢字が含まれていたから 対策： ユーザフォルダの名前を変更する。（または新規ユーザを作り直す。） ====================== いやぁ、標的型攻撃みたいだな。 「郎」の付く名前は、下記をみると色々ありますので、 http://kanji.reader.bz/more/%E9%83%8E 今この時点で数千人の人がこの症状に悩まされているのではないか、と妄想。 現在、お客様がIEで使用する予定のアプリを開発中です。そんな中、
最近、モリサワのようすがちょっとおかしいんだが。 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
ところで、モリサワのPr6Nフォントがやばいらしいですね。 twitterで話題になってたね。 まとめを読んでも、ちょっとわかりにくかったんですけど、どういうことなんですか？ リュウミンとかのPr6/Pr6Nには複数のバージョンが存在して、新バージョンで作ったデータを旧バージョンの環境で開くと、豆腐になっちゃう文字があるんだよね。 うー、それはかなりイヤですね。 だよね。新バージョンのほうは、IVS（異体字シーケンス）対応版なんだけど、cmapも新しいのになってるから。 しーまっぷ？ cmapっていうのは、符号位置とグリフの対応表。DTP用の日本語OpenTypeフォント（Adobe-Japan1フォント）には、Unicodeに入ってないグリフもたくさん入ってるでしょ。 入ってますね。 「Unicodeに入ってない字」はcmapには載ってない。でも、そういう字が後からUnicodeに収録さ
UnicodeとUTF-8の違いは？ - Humanity
という2chのスレがかなり勉強になったのでまとめ。 少しでも有用だと思ったものは載せてあるので結構長いです。 Unicodeのような文字集合(符号化文字集合？)やUTF-8のようなエンコーディング方式に限らず色んな文字コードにまつわる話があります。 たびたび話が繰り替えされますがそれは確認ということで。 (元スレ) 追記：簡単にまとめました。 1 ：デフォルトの名無しさん：2007/04/30(月) 20:02:37 ビッグインディアンとかなんとかかんとか 3 ：デフォルトの名無しさん：2007/04/30(月) 20:05:48 また、頭の悪そうなスレが・・・ >>1 それは魚とマグロの違いを訊ねるようなもんだ。 4 ：デフォルトの名無しさん：2007/04/30(月) 20:06:49 魚と鮪というよりは、魚と刺身の違いのような気がする。 5 ：デフォルトの名無しさん：2007/04/
CGIpmTips - perlのCGI.pmはUTF8で使うとすごい大変。
perlのCGI.pmはUTF8で使うとすごい大変。 -nostickyや-utf8はIISのActivePerlでまともに動かない。 CGI.pmのescapeHTMLはuse utf8;を正しく変換できない。 なのでautoEscapeはuse utf8;でまともに動かない。 -no_xhtmlもmod_perlやPerlEx?で動かない。$CGI::XXXのグローバル変数で動作を変えてる系は全滅。 とりあえずCGI.pmの便利機能はoffにして使うべき またはLinux上でCGIだけで使うとか、UTF-8をやめてEUCで書くとか(それはそれで問題が)。my $cgi = new CGI; はダメ my $cgi = CGI::->new();が正しい。self_url()やurl()が使えなくなる環境がある(Windowsなど)。 出力はxhtmlに固定 $cgi->autoEsca
PHPで名前を扱う場合、文字コード指定に注意が必要 - Affamative Way
CakePHP のおいしい食べ方: EUC-JPではなく、EUCJP-win!!! お客さんがWindowsを使うと分かっていて、日本語の名前に関するデータ処理をするようなプログラムを書く場合、 $str = mb_convert_encoding($str, "EUC-JP", "UTF-8"); なんてやっちゃだめです。 $str = mb_convert_encoding($str, "EUCJP-win", "UTF-8"); としないと、あとできっと、顧客からクレームが来ます。 知らずに中で使っていて、まさにご指摘いただきました。 具体的にどういうことが起きるかというと。 とか のような文字の文字コードを変換する場合 "-win"って指定してないとその文字が消えるんです。 これ、実はメールの本文の文字コード(ISO-2022-JP)でも同様のことが起きます。 PHP-dev -
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ウノウラボ Unoh Labs: 文字コードと携帯絵文字
kndb.jp
http://www.asahi-net.or.jp/~ax2s-kmtn/character/japan.html