「文字コードの迷宮」を読み解く
メールのやり取りやWebブラウザーの閲覧で、いまだに「文字化け」を目にすることがあるだろう。コンピュータの内部や通信用の「文字コード」で違う種類のものが使われていたりすると、それが原因で文字化けが起こる。Webブラウザーのエンコード設定画面を見ると、EUC、Unicode、UTF-16、ISO 2022、シフトJISなど、文字コードの名前がずらりと並ぶ。 過去には、文字コードに起因する諸問題が取り沙汰された。例えば2006年には、Windows Vistaで標準利用される文字コードが変更された。その際、Vistaで入力したテキストファイルをWindows XPで表示すると、一部の漢字が異なる字体に化ける現象が起こった。また、2010年に新常用漢字表が告示された際、「シフトJIS」にない漢字が新常用漢字表に追加された。これにより、環境によっては文字化けする可能性があると話題になった。 このよ
サーバーで作成されたデータファイル(csv)をバックアップしてて思ったこと。 どうやらUTF-8で作ってるみたい。 でもね、Winな開発環境ではMS932で作ってた。 読み込みも同じ。 これ、一緒にしたいよね？
小形克宏の「文字の海、ビットの舟」 ―― 文字コードが私たちに問いかけるもの [Reported by 小形克宏] 第1部 2000JISがやってきた 第1回 2000JISとはなんだ？ （2000年1月19日） 第2回 2000JISの原案はなぜ修整されたか？ （2000年1月26日）加筆修正 2000年2月22日 第3回 前回までの訂正と補遺 （2000年2月2日）加筆修正 2000年2月22日 第4回 JCS委員長、芝野耕司の反論（前編） （2000年2月9日）加筆修正 2000年2月12日 第5回 JCS委員長、芝野耕司の反論（後編） （2000年2月16日）加筆修正 2000年2月22日 特別編 MacOS Xの新フォントと2000JISの関係 （2000年2月23日） 特別編2 ISO/IEC 10646で却下された(?)
文字コードを意識すべし
Life with Web Browser Engine (Gecko, WebKit and etc), Mobile and etc. 現在のWebブラウザというのは、いろんな外部コンポーネントも使って作ってるわけなんだけど、例えば、HTMLを解析しながら文字コードを変換なんてしてたら複雑になりすぎてバグを増やすきっかけになってしまう。HTMLパーサーに渡される時点で特定の文字コードで渡すようになってる。そのため、文字コード変換はオープンソースだったらlibicuのようなものを利用したりする (WebKitは現にlibicu使ってる) し、プロプラであっても、Internet ExplorerのようにブラウザじゃなくてOSのコンポーネント(MLANG.DLL)を使ってたりする。ちなみにMozillaではuconvと呼ばれるライブラリを自分たちでメンテナンスしてる。 また、現在のWebブ
2020-06-02 Comments/Subversion/TortoiseSVNメモ/コミットしたログメッセージが編集できない 2020-03-31 ゲームを作る上でのバッドノウハウ/十字キーがボタンとして認識される 2019-11-12 Comments/Wiki/PukiWiki/スパム(spam)を防止する方法 2019-11-01 Delphi/XML/Delphi付属のXMLライブラリ 2019-08-27 Comments/SaGa2 秘宝伝説/モンスター一人クリア 2019-07-11 Comments/git/git rebaseを元に戻す方法 2019-06-08 VBA/関数呼び出し時に「オブジェクトが必要です。」というエラーが出る 2019-03-07 Comments/PhotoShop/「下のレイヤーとグループ化」はどこいったの？ 2019-02-06 Rub
はてな人力検索への回答です。 http://q.hatena.ne.jp/1182403623 文字コードいろいろ 日本語文字コードの代表としては、「Shift_JIS」「EUC-JP」「UTF-8」があります。 このうち「Shift_JIS」と「EUC-JP」には完全な互換性がありません。 また「UTF-8」へ変換するための正式な変換テーブルもないためこれが標準というのはありません。 Shift_JIS 日本語Windows標準 EUC_JP 日本語UNIXの業界標準 UTF-8 国際規格 まだ運用を始めて間もないなら「UTF-8」のままがお奨めです。 Debianのsambaで確認しましたが、デフォルト「UTF-8」のようです。 どれを取っても若干の問題がでてくるので、国際規格を選択したほうが後々いいような気がします。 文字コード関連の設定 とりあえず「UTF-8」前提で説明します。
広い世間には、同じことでお悩みの方がきっといらっしゃると思うので、ご参考までに書いておきます。 フォームを使ってCGIなどのプログラムにデータを渡したい場合ってありますよね。 たとえば検索窓。 検索ワードをデータとして検索エンジンに渡さなくてはなりません。 でもまあ、このこと自体はそんなに難しいことではありません。 検索エンジンはたいてい、自分のところの検索窓を取り付けてもらうのは大歓迎ですから、 どこかにそのソースと貼り付け方が書いてあります。 googleや yahooなど 大手の検索エンジンともなると、 様々な文字コードをサポートしており、その指定方法まで書いてあったりなんかして。 もう、至れり尽くせりです。 けれども世の中には、自分のところの検索窓を取り付けたい人がいるだなんて 夢にも思わないマイナーもしくはローカルな検索エンジンもたくさんあるんですよね。 そういうところは、使える
IVS本へのツッコミ・付録の「文字コード表」編 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
『Unicode IVS/IVD入門』（田丸健三郎、小林龍生）へのツッコミ第2弾。この本は、巻末に付録として2つの文字コード表を掲載しており、ページ数では全体の約半分に及ぶのだが、これらの表にもいろいろ問題があるように思う。 「USC」が215回出現 2つの文字コード表のうち「文字符号対応表（CP932とJIS文字コード）」（pp.218-325）のほうから見ていくこととする。 まず、全ページで（100ページ以上に渡って）「UCS」が「USC」になっている。 フォントの問題 「IPAmj明朝」欄の表示に使われているのはIPAmj明朝ではなくIPAex明朝だと思う（下図を参照）。 ちょっとわけがわからない。 「IPAmj明朝」欄の0x02から0x1b（制御文字領域）に記号や罫線素片が入っているが、IPAmj明朝にもIPAex明朝にも、このような文字は入っていない。 フォールバックで別のフォン
文字コードを指定してテキストファイルを読み込むここでは、テキストファイルの内容を文字列として読み込む方法について説明します。 なおEncodingオブジェクトを取得する方法については、「目的の文字コードに合ったEncodingオブジェクトを取得する」に移動しました。 ストリームを使ってテキストファイルを読み込む最も基本的な方法は、StreamReaderクラスを使う方法です。 早速ですが、以下にStreamReaderクラスを用いてテキストファイルの内容を読み込む簡単な例を示します。この例ではテキストファイル"C:\test\1.txt"をReadToEndメソッドですべて読み込んでいます。 '"C:\test\1.txt"をShift-JISコードとして開く Dim sr As New System.IO.StreamReader("C:\test\1.txt", _ System.Te
“情報化時代”に追いつけるか？ 審議が進む「新常用漢字表（仮）」： 第2部 新常用漢字表と文字コード規格第2回 常用漢字表の改定で発生する、漢字政策の玉突き現象
前回はJIS文字コードへの影響をまとめた安岡孝一氏の発表「常用漢字表の拡大はJIS漢字にどういう混乱をもたらすか」を紹介した。これをまとめると、特定の文字を常用漢字表に追加した場合、「漢字政策の玉突き現象」が起き、JIS X 0213で不整合が起こる。 （1）新常用漢字表に文字が追加 ↓ （2）人名用漢字が新常用漢字表に対応し、同じ文字を追加、1字種2字体になる ↓ （3）JIS X 0213は従来包摂していた2字体を区別しなければならなくなり、包摂を分離、その結果不整合が発生する 今のところ一応は安定しているJIS X 0213における包摂の範囲が、他の漢字政策の都合によって分離せざるを得なくなり、これにより不整合が起きてしまうというのが安岡氏の指摘の趣旨だ。これを安岡氏が例に挙げた「箸」で図にしてみた（図1）。 これが発生する条件は「常用漢字表に印刷標準字体と違う字体＝略字体が追加され
Jcode.pmを使って文字コードを変換する
2006年2月12日(日) 22時23分43秒 [Perl/CGI, Web関連] Jcode.pmを使って文字コードを変換する 日本語文字コードの変換がとっても楽チンにできるPerlモジュールが「Jcode.pm」。これが活用されているフリーCGIは結構あります。 Perl 5.8.0以降では、Encodeモジュールが標準搭載されて、文字コードの変換が標準でできるようになったので、Jcode.pmを使う必要はなかったりするんですけども、フリーCGIの場合、Perl 5.8.0未満の環境で実行されるかも知れない可能性を考えて、（もしくは最初に作った時期がPerl 5.8.0リリース以前だったかで）Jcode.pmが使われてるCGIはたくさんあります。 # もっと古いCGIだと、jcode.pl が使われてるかも知れません。jcode.pl はJcode.pmの前のもので、Perl 4でも動
Javaでの文字コードの扱い - MyMemoWikiOld
仕様では、String クラスはUnicode文字の並びを表す String クラスのソースコード(%JAVA_HOME%/src.zip)を見ると、Unicode文字の並びをchar型の配列として保持している。 char型は、Unicode文字を表す16ビット符号無し整数で、'\u0000'〜'\uffff' すなわち 0〜65535を表現できる Javaで扱うUnicodeは、1文字を16ビット(2バイト)UCS-2である。 現在はUnicode全体は4バイトで定義(UCS-4)されている。 ソースコードの変換 ソースコードのコンパイル時、プラットフォームの文字コードやファイルの文字コードに依存してしまう。 Windowsでソースを書いてLinuxでコンパイルを行ったりするような場合には、プラットフォームとソースコードの文字コードの不一致によって文字化けが発生する。 native2as
Ruby 1.9で文字コードの自動判別を行う
たまにRubyの話題でも。 Ruby 1.9で文字コードの自動判別をさせようとおもったら、意外に良いライブラリが見つからなくて苦労しました。 結局ICUをbindingした、charlock_holmesがちゃんと使えたので、メモです。 OSXで使う場合は、下記の様にしてICUライブラリをインストールします。Linuxでは適当なパッケージシステムを使ってインストールしてください。 curl -O http://download.icu-project.org/files/icu4c/4.8.1.1/icu4c-4_8_1_1-src.tgz tar xvzf icu4c-4_8_1_1-src.tgz cd icu/source ./runConfigureICU MacOSX --with-library-bits=64 --disable-samples --enable-static
MySQL 文字コード関連 - とみぞーノート
1. 現在の設定の確認 [使用できる文字コード一覧の確認] mysql> show character set; [現在の文字コード設定の確認] mysql> status <略> Server characterset: latin1 Db characterset: latin1 Client characterset: latin1 Conn. characterset: latin1 <略>
► 2018 (1) ► 1月 (1) ► 2017 (4) ► 6月 (3) ► 5月 (1) ► 2016 (15) ► 12月 (4) ► 11月 (1) ► 10月 (2) ► 7月 (3) ► 6月 (1) ► 5月 (3) ► 1月 (1) ► 2015 (13) ► 12月 (1) ► 10月 (1) ► 9月 (1) ► 6月 (1) ► 5月 (1) ► 3月 (2) ► 2月 (3) ► 1月 (3) ► 2014 (11) ► 12月 (1) ► 9月 (2) ► 8月 (2) ► 6月 (1) ► 4月 (4) ► 2月 (1) ► 2013 (15) ► 12月 (3) ► 11月 (3) ► 8月 (2) ► 7月 (4) ► 5月 (1) ► 4月 (2) ► 2012 (7) ► 10月 (1) ► 7月 (1) ► 4月 (3) ► 1月 (2) ► 20
概要 Pythonの文字コード指定による日本語文字化けの問題は誰もがハマるところ。 この記事では文字化けの解決方法を簡単にまとめたものになります。 実行環境はMacです。UnixやLinuxでもPath以外の箇所は同じように動作すると思います。 間違いの指摘などあればよろしくお願いします。 注意すべきこと 簡単にいうと以下の4点になりそうです。 1. ファイルの文字コード指定 2. ファイル内部の行頭での文字コード指定 3. Pythonの内部コードはUnicode(オブジェクト)として扱っている。 4. printなどの出力関数では端末の設定に合わせた文字コードが利用されている ※1,2の文字コード指定は一致させます。 1.ファイルの文字コード指定 サンプルとしてUTF-8で指定する例を挙げます。ファイル名はencode.pyです。 nkf --guess encode.py UTF-8
環境依存文字を含むデータをCSV形式でやりとりするには 人名や地名の中には、環境依存文字（異字体など）が含まれていることがある。環境依存文字を含むExcelのシートをCSV形式でやりとりしなければならない場合、文字コードにUTF-8を指定するとよい。なお画面の住所録は、「テストデータ・ジェネレータ」によって作成した架空のサンプル用のデータを記事用に修正したものである。 「Microsoft Excel（エクセル）」で作成した表を、CSV形式で保存し、別のアプリケーションに読み込ませることはないだろうか。また、取引先にデータを送る際に、XLSX形式ではなく、CSV形式が要求されることもあるだろう。逆にCSV形式で受け取ったデータをExcelで読み込んで処理したいというケースもあり得る。 このような場合、環境依存文字（機種依存文字）が含まれていると、CSV形式に変換する際に、正しく文字が出力さ
「『生成AIを使ってこんなもの作ってみました』開発者LT大会」は、急速に発展しているChatGPTや生成AIといったAI技術を使って何かを作ってみた人たちがアイデアや成果を共有する、ログミーTech主催のイベントです。ここでPR TIMES社の土屋氏が登壇。「ChatGPTを使って文字コードを扱う負担を軽減できるか」という調査の内容と結果について紹介します。 Shun氏の自己紹介と、本セッションのアジェンダ Shun氏（以下、Shun）：それでは、PR TIMES社の土屋が発表します。私の名前はShunといいます。PR TIMESに勤めていて、ソフトウェアエンジニアをやっています。 本日のアジェンダです。私の発表はどちらかというと、個人開発でChatGPTを使ったものを作って、それで実験をしてみたという内容になっております。 表題にもあるとおり、ChatGPTに文字コードのことを聞いてどん
Python のスクリプトが記述されたファイルは、現在のバージョンでは文字コードが UTF-8 で記述されているものとして処理されるため、別の文字コードで記述している場合はなんの文字コードを使用しているのか設定が必要となります。ここではプログラムを保存するファイルで使用する文字コードを設定する方法について解説します。
※今から紹介する1〜4の方法は私はお勧めしません(推奨はhttp_inputやhttp_outputを使わない、値にautoは指定しないなど)。 注意事項をしっかり読んで考慮した上で実装して下さい。 ▼http_inputやhttp_outputを使用する場合の注意事項へ 1. UTF-8 で作成・保存して UTF-8 で表示させる場合 (※php5のみ、php4のみを記述する場合は<IfModule>タグは書かなくても良いです。「mbstring.http_input auto」はASCII,JIS,UTF-8, EUC-JP,SJISに展開。) # PHP5 <IfModule mod_php5.c> php_flag output_buffering Off php_value output_handler none php_value default_charset UTF-8
※1…「ID3タグを変換」機能で対応 ※2…バージョン2.0.2～7.6.2は同じ仕様らしいです。 ※3…バージョン7.7で仕様が変更されたようです。 ※4…曲ファイルとは別にライブラリデータを転送してるっぽい？つまりiTunesで表示されている内容がそのまま反映されるようです。 ※5…ひょっとしたら、iPodのライブラリデータを読んでいるのかもしれない？（未確認） つまりUnicodeにしておけば、ほとんどの環境で対応できるということですな、そしてUnicodeに対応してないiTunes 1.1を使い続けていた私が愚かだった、とorz... ではShift JISやISO Latin-1でエンコードされたID3タグをMac版iTunesの「ID3タグを変換」で正しくUnicode化するにはどうすればいいか？↓こちらにヒントがありました。 文字化け / iTunes 4.9 for Win
Web2.0を意識したシステム構築ではXMLを扱う頻度が増え、同時にデザインテンプレートやスクリプトなども文字コードをUTF-8に統一したいというシーンが出てくるのではないでしょうか。それ以外にも文字コードをディレクトリ単位で変換したいシーンがあると思います。 世の中には文字コード変換専用のフリーツールが多数存在しますが、ここではUNIXコマンドによる文字コード変換を紹介します。 1.特定ファイルの文字コードを変換する 文字コードを変換する為のコマンド[nkf]を紹介します。 nkfは入力ファイルの文字コードを自動的に認識して指定の文字コードに出力してくれます。勿論、入力ファイルの文字コードを指定する事もできます。また、改行コードなどの指定も可能です。 代表的なnkfの文字コード・改行コードの出力オプションを紹介します -j JISコードの文字コードを出力する -e EUCコードの文字コー
最近は、UTF-8文字エンコードしたファイルを利用することが多くなりました。GnomeなどのGUI環境を利用している場合は、UTF-8対応のエディタが標準で備わっているため問題ないですが、コンソール環境などでは、必ずしもLinuxで快適に利用できる環境が最初から揃っているとは限りません。 そこで、UTF-8文字エンコードされているファイルを扱う環境を作成していきます。 'cat'や'less'コマンドを皆さん利用されているでしょう。しかし、'cat'や'less'ではUTF8エンコードされたファイルを正しく表示できません。UTF-8ファイルを利用する場合は、これに変わるコマンドとして、'lv'コマンドを利用しましょう。 Debianでは、"apt-get install lv"で利用できるようになります。 例) %lv [FileName]
Linuxでは、EUCがデフォルトの文字コードとなっている。しかし、DOSやWindowsではシフトJISがデフォルトであるし、メールではJISコード（ISO-2022-JP）を使うので、LinuxとWindowsでファイル共有などを行っている場合は、ファイルの文字コードを知りたいというケースも出てくる。 テキストファイルの文字コードを調べるには、kccコマンドを使うのが便利だ。-cオプションを付けてkccコマンドを実行すると、次のように文字コードが表示される。 $ kcc -c tmp1.txt tmp1.txt: EUC $ kcc -c tmp2.txt tmp2.txt: shift-JIS $ kcc -c tmp3.txt tmp3.txt: 7-bit JIS [ESC$B, ESC(J] なお、Vine Linx 2.5は標準ではkccが
HTML ファイルを作っていて、たまに本当に UTF-8 になっているのか気になる時があります。ブラウザーで表示したら文字化けしてしまった時とか。 この辺り、まだ勉強不足なんですけど。Sublime Text で編集しているときに気がつければ、それに越したことはないのかなぁと思いまして。ただ、いままで Sublime Text で文字コードを確認する方法がわからなかったんですけど、先日購入した「Sublime Textの教科書」を読んでいたら、みごとにやりたかったことが載っていました。 設定を変更するだけで表示できるのは Sublime Text 3 からこれは Sublime Text 3 から追加された設定項目だそうです。Sublime Text 2 にはない設定項目だそうなので、バージョンに気をつけて下さい。 まず、Default 設定の 308行目から 312行目をコピーして Us
文字コードとHTMLエンコードとCross-Site Scriptingの微妙な関係 - 交差点でコーヒーを
もっといっぱい動くっぽかった。まとまったら後で書くですよ。っていうか、対策としてそういう条件を強いるのはなんだかなぁな位幅が広いかも？*1 ダメだった……。残念。次はEUC調べよっと。 EUCの場合 脆弱なコード例(もちろん文字コードはEUCで) <form> text: <input type='text' name='text' value="<?= htmlspecialchars($_GET{'text'}) ?>"><br> text2: <input type='text' name='text2' value="<?= htmlspecialchars($_GET{'text2'}) ?>"><br> <input type=submit value="送信"> </form>攻撃例*2 http://localhost/break_quote_euc.php?text=te
MySQLの文字コード事情 2017春版1. MySQLの文字コード事情MySQLの文字コード事情 2017春版2017春版 NSEG #87 MySQL 2017/05/13 とみたまさひろ 2. 自己紹介自己紹介 とみた まさひろ 長野県北部在住プログラマー 好きなプログラミング言語 Ruby Ruby/MySQLライブラリ MyNA代表 http://tmtms.hatenablog.com http://twitter.com/tmtms 3. 最近の活動最近の活動 Software Design 2016年6月号 「MySQLでデータベースを作ってみよう！」 Software Design 2016年9月号 「MySQL 4つのログの使いどころ」 Software Design 2016年12月号 「Rubyと文字コード」 「MySQLと文字コード」 Software Desig
Webページの文字コードをUTF-8にする方法(前編)
WSLはWin32との文字コードの違いにどう対応しているか？ Windows Subsystem for Linux（WSL）には、Win32相互運用性と呼ばれる機能があり、WSLのbashから直接Win32プログラムを起動することができる。WSLのLinuxディストリビューションは、標準の文字コードとしてUTF-8を使うのに対して、Win32プログラムの標準の文字コードは、日本語版Windowsの場合ではShift-JISである。 しかし、WSLやCMD.EXE（コマンドプロンプトウィンドウ）では、お互いをパイプで接続してコマンドを連続して動作させることが可能だ。このときWSLは、コマンドラインを見て、Win32プログラムが適切な文字コードを出力できるように調整をおこなう。具体的には、以下の3つの場合が考えられる。 1. Win32プログラムの標準出力がコンソールに接続しているとき 2.
文字コードについて説明しようとする場合、「例外を無視して単純化すると、厳密にはウソになってしまう」という罠に陥りやすい。矢野啓介『プログラマのための文字コード技術入門』は、平易な文章でありながら、そのような落とし穴を慎重に回避することに成功していると思う。 プログラマのための文字コード技術入門 (WEB+DB PRESS plus) (WEB+DB PRESS plusシリーズ) 作者: 矢野啓介出版社/メーカー: 技術評論社発売日: 2010/02/18メディア: 単行本（ソフトカバー）購入: 34人 クリック: 578回この商品を含むブログ (129件) を見る カバー・本文デザインはn-yujiさん（遠近法ノート）*1なので、組版に関しても安心。 この本には、「文字コードはなぜ複雑になるのか」という節が用意されており、著者は「文字コードを複雑化させる二つの理由」として、「過去の経緯の
ケイケンラボ - Eclipseファイル文字コードを指定する方法-Tips/Eclipse/ファイル文字コードの設定-PukiWiki
Eclipseファイル文字コードを指定する方法 Eclipseで作成するファイルの文字コードを指定する方法です。 以下の4つの方法があります。 デフォルトの文字コードを設定する方法。 プロジェクト単位で文字コードを設定する方法。 コンテンツタイプで文字コードを設定する方法。 ファイル単位で文字コードを設定する方法。 デフォルトの文字コード変更 3.1.xの場合 以下の操作でファイルのデフォルトエンコードを変更できます。 [ウィンドウ]→[設定]で設定画面を開く。 [一般]→[エディター]を選択。 [テキスト・ファイル・エンコード]で「その他」を選択する。 リストより使用するコードを選択する。 リストに無い場合は「EUC-JP」などと直接入力する。 3.2.xの場合 以下の操作でファイルのデフォルトエンコードを変更できます。 [ウィンドウ]→[設定]で設定画面
WindowsでUnicode文字を簡単に入力したり、Unicodeの文字コード番号を調べたりする方法
解説 Unicodeは、従来のシフトJISコードでは表現できなかった異体字やめったに使わないような文字も利用できるなど、利便性が高く、最近ではUnicodeを使った文書の作成が一般的になっている。 Windows OSでUnicode文字を入力するには、OSに標準で付属している［アクセサリ］－［システムツール］－［文字コード表］アプリ（Windows 8.1以降なら［Windowsアクセサリ］－［文字コード表］）を使うか、IMEの入力支援機能などを使うのが一般的である。 だがUnicodeの文字コード番号（「U+3042」や「U+29E49」など）が分かっているならもっと簡単な方法がある。キーボードショートカットによるUnicode入力支援機能を使うのである。本TIPSではその方法を紹介する。またこの機能を使うと、既に入力されている文字のUnicode番号に簡単に逆変換することもできる。
wget でダウンロードした html を普通に vi ファイル名 で開くと文字化けしました。 ということで、vi で文字コードを指定してファイルを開く方法です。 ShiftJIS で開く $ vi -c ":e ++enc=cp932" index.html EUCで開く $ vi -c ":e ++enc=euc-jp" index.html UTF8で開く $ vi -c ":e ++enc=utf8" index.html "vi ファイル名" で開いた後に ｢:e ++enc=文字コード｣ でも構わないみたいですね。 参考： Deginzabi163’s Blog:[覚書]vimでsjisのファイルを開いたら文字化け。対処法は？ Greenbear Laboratory - Vim覚え書き:
印刷可能ASCII文字、すべてのスペース、句読点、改行コード、水平タブ、アクセント記号付き文字、およびその他の非ASCII文字を\unnというJavaユニコード(Unicode)形式に変換します。
朝日新聞の1月9日朝刊で次のような告知を目にしたので雑感をメモ。 「約900字」のリスト希望。と思って朝日新聞に電話してみたところ、公開する予定はないらしい。というか、そもそもそのような文書は朝日新聞社内でも出回っていないという。 なぜ今なのか。国語審議会による表外漢字字体表の答申は2000年12月。それからすでに6年以上が経過している。Windows VistaにおけるMS書体の字形変更は朝日新聞の変更とほぼ同時期ではあるが、Microsoftの場合、JIS X 0213の改正（2004年2月）を待った上での変更だから、この時期になったのは理解できる。しかし朝日新聞の場合、単純に表外漢字字体表のサポートと考えるには、タイミング的に遅すぎる気がする。わたしはこれまでずっと、朝日新聞は（答申されたが内閣告示にはならなかった）表外漢字字体表をサポートする気がないのだと思っていた。 システム上、
コマンドプロンプトでUTF-8などShift-JIS以外の文字コードを処理したい！ Windows OSをCUIで使うにはコマンドプロンプト（cmd.exe）を開いて作業する。日本語Windows OSの場合、このコマンドプロンプトでサポートされている文字コードは、基本的にはShift-JISコードだけである。コマンドプロンプト上で使う各コマンドに対して日本語文字列の引数やパス名を与える場合は、Shift-JISコードにする必要がある。テキスト処理するコマンド、例えばfindやmoreなどはShift-JISコードしか正しく処理できない（表示だけならUTF-16が使える場合もある）。 しかし、最近ではUnicode、中でもUTF-8が使われるケースも多くなっており（特にWebなど）、複数の文字コードを扱う機会は増えている。 このような場合は、あらかじめ文字コードを1種類に統一してから処理す
Webページの文字コードをUTF-8にする方法(前編)
［Alt］キーを押しながら文字コードを入力することで、文字を入力するという機能がWindowsにあるわけですが、その際にフォントを「Wingdings」や「Wingdings 2」を指定することで、チェックマークを入力できます。 ▼操作手順：チェックマークを入力する （「ü」を入力する例） ［フォント］に「Wingdings」を指定 ↓ 日本語入力をOffに ↓ ［Alt］キーを押しっぱなしにして、テンキーで「0252」と押す （このとき画面には何も表示されません） ↓ ［Alt］キーから手を離す ご存知ない方には不思議な操作でしょうが、これで「ü」が表示されます。 ［記号と特殊文字］コマンドを使う方法では、バージョンによってコマンド自体が用意されていないものもありましたが、この方法ならどのバージョンでもOKです。 注意点は、 ・数字を入力する際は必ずテンキーを使うこと（［NumLock］
MySQLの文字コードをUTF-8で構築する時に、照合順序について「utf8_general_ci」と「utf8_unicode_ci」で迷っております。…
MySQLの文字コードをUTF-8で構築する時に、照合順序について「utf8_general_ci」と「utf8_unicode_ci」で迷っております。 http://dev.mysql.com/doc/refman/4.1/en/charset-unicode-sets.html http://private.ceek.jp/archives/002377.html 「utf8_general_ci」の方が高速だが、正確性が劣るとのことですが、、 具体的にどのくらいの文字に対して正確ではなくなるのでしょうか。
文字コード：ほら貝
文字コード問題を考える 加藤弘一 ◇ 新着案内 ◇ 主な変更履歴 Apr07 2000 ◇ 一太郎で使う異体字タグ 普請中 ◇ インターネットと漢字 Nov11 2004 ◇ 文字コード案内 ──どこから読むか？ Mar30 2000 ◇ 「文字コードから見た住基ネットの問題点」 Aug10 2002 ◇ 「アジアの多言語処理 」 Jun22 2002 ◇ 『図解雑学 文字コード』サポートページ Aug10 2002 ◇ 『電脳社会の日本語』サポートページ May27 2000 ◇ 二千年紀の文字コード問題 Nov18 1999 「二千年紀の文字コード問題」掲載の経緯 ◇ 「超漢字」の「多国語」と称する機能について Mar26 2000 ◇ 多言語テキスト処理はどこまで可能か Jun
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Java/文字コードを指定して外部ファイルを読み書きしたいの - comscom@Wiki
小形克宏の「文字の海、ビットの舟」――文字コードが私たちに問いかけるもの
Ruby/てっとり早く文字コードを変換したい - TOBY SOFT wiki
sambaの文字コードはUTF-8に設定するとベスト - サーバー技術メモ
ソースとは異なる文字コードをフォームで受け渡す方法（いつものきりんとうさぎ）
文字コードを指定してテキストファイルを読み込む
Windowsのコマンドプロンプトの文字コードを変える方法
5分で理解するPython文字コード - Y's note
Excel CSV形式ファイルにおける今どきUTF-8文字コード問題の傾向と対策
ChatGPTを使って、文字コードの理解と記述の負担を軽減できるのか 「日本語と認識しているUnicodeの範囲」「括弧の検出」「新字体への変換」を調査してみた
プログラムを保存するファイルで使用する文字コードを設定する
Andante .htaccessファイルを使ったPHPの文字コードの設定
iTunesのID3文字コードわけわかめ - まいう〜の鮹語録
76. ファイルの文字コードをコマンドで一気に変換：ITpro
UTF-8文字コードファイルの扱いTips
＠IT：テキストファイルの文字コードを調べるには
Sublime Text 3 のステータスバーに文字コードを表示する方法 (ついでに改行コードも) | R
MySQLの文字コード事情 2017春版
ASCII.jp：Windows Subsystem for LinuxとWindows内の文字コード (1/2)｜Windows Info
文字コードはなぜ複雑になるのか - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
(Linux)viで文字コードを指定してテキストファイルを開く | old_3流プログラマのメモ書き
16進文字コードin Javaユニコード - JavaScript共通
Mac OS Xの文字コード問題に関するメモ - 朝日新聞の字体変更
nkfツールで文字コードを変換する（Windows編）
チェックマーク・レ点を入力したい−文字コード:Office(オフィス)の使い方