Pythonで出力したCSV(UTF-8)がExcelで読み込めなくて困った話 - 唯物是真 @Scaled_Wurm
Pythonで出力したUTF-8のCSVを渡したら「文字化けしてExcelで読めない」と言われて困りました 原因は文字コードがUTF-8の時によく問題になるBOM(バイトオーダーマーク)です バイトオーダーマーク - Wikipedia UTF-8のファイルにはBOMが付いている場合と付いていない場合があります ExcelはBOMが付いていないと正しく読み込んでくれません なので、例えばメモ帳で開いて保存し直すと、BOMが付いてExcelでも開けるようになります 今回の問題とは逆にBOMがついていると動かないこともあって、以前BOMが付いたUTF-8のファイルをChromeに渡したら何故か動かなくて悩みました Google Chrome のユーザースクリプトで名前やバージョン番号が反映されない - 唯物是真 @Scaled_Wurm ちなみにPythonだと文字コードにutf-8ではなくu
The Oral History Of The Poop Emoji (Or, How Google Brought Poop To America)
…which is to say, it is an international tale of drama, cultural differences, and near-disasters. This is that tale, told for the first time by the unsung heroes who brought to life. But to understand them, you first need to understand how emoji works. An emoji is not a photo. That may sound obvious, but it’s also an important technical distinction. When you text a photo to a friend, you are sendi
「文字列」について - 2014-11-07 - はてなるせだいあり
序 「文字列を文字の列とみなす単純化」について議論がありますが、前提が抜け落ちてるように思うので書くことにします。 そもそもこの話はどのような文脈の上にあるかというと、テキスト処理 (wikipedia:en:Text_processing) の文脈になります。ここでいう「テキスト処理」とは plain text (wikipedia:プレーンテキスト) の検索・加工のことで、ここでは特に UNIX Text Processing の系譜が念頭に置かれています。つまり、複雑な装飾を含むリッチテキストではなく、処理の対象を ASCII 文字列といくつかの制御文字へと抽象化することで、正規表現のような強力な道具を用いた処理を可能とした世界です。UNIX でのお話ですから、ここでの具体的な処理の単位は char であり、全体としては char[] になります。この char の中身は上で述べたと
電子行政における第3・第4水準漢字
JIS X 0213 for e-Government Koichi YASUOKA ( 606-8265 47) Center for Informatics in East Asian Studies, Institute for Research in Humanities, Kyoto University (47 Kitashirakawa-Higashi-Oguracho, Sakyo, Kyoto 606-8265 JAPAN) 2014 8 JIS X 0213 3 4 1, 2) 3 3, 4) 3 5) 303 2,136 3,000 3,000 JIS 1 JIS 2 3,000 3,000 1 2 2,136 6) 1 2 2,132 4 ( ) 3 5) 1,022+22 7) 姸 幷 42 3 3,000 1 2 3,000 8) 3,000 8) 3,000
Re: 人名用漢字と第1・第2水準漢字に対する妄想 | yasuokaの日記 | スラド
『情報管理』2014年8月号掲載の榎並利博「電子行政における使用漢字の問題」に対し、私(安岡孝一)なりのコメントというか反論を、「電子行政における第3・第4水準漢字」というショートペーパーにまとめて『情報管理』に投稿した。そうしたところ、今日づけで「不採録」の通知をいただいた。 『情報管理』に、どの論文を採録し、どの論文を採録しないかは、もちろん、『情報管理』誌の編集委員会の専権事項だし、何かと事情もあるのだろう。でも、ちょっとくやしい。くやしさのあまり、他誌に再投稿という考えが一瞬アタマをよぎったが、そんな悪い考えをアタマから払拭すべく、ここに公開して荼毘に付すことにした。ぜひ読んでほしい。 なお、榎並利博のこの論考(および先行文献)は基本的な部分で誤りを含んでいる、と、私は今も考えている(これとかこれとかこれとかこれとかこれ)。読者諸氏(あるいは各誌編集委員会)においては、こういう非論
自作Unicodeください。 - Unicode（私用領域）http://www.asahi-net.or.jp/~ax2s... - Yahoo!知恵袋
LINE1週間未読無視 今度大阪に住んでいる友達のところへ遊びに行こうと思い、LINEでこの期間遊びに行くと連絡をしました。 その時はすぐ連絡が来て、予定空いているから来て！と言われました。 2泊3日の予定で計画を立てていて、1日はホテル泊、もう1日はその友達の家に泊まってもいいと言われて、お言葉に甘えてお願いをしたのですが、その後、やっぱり難しいかもと連絡がきたので、ホテル2泊で考えていたのですが、その友達も一緒に泊まるので、おすすめのホテルを聞こうと連絡をしたのですが、そこから1週間連絡が来ず、未読無視のままです。 普段は何時間後か、遅くても1.2日で連絡がくる子です。1週間放置されているのは初めてです。 でも、インスタのストーリーは頻繁に上げていて、さすがに疑念が湧きました。 来月行く予定なので、予約もしたいなと思って、ストーリーのDMで連絡をしたのですが、それでも連絡がきません。
Characters, Symbols and the Unicode Miracle - Computerphile - YouTube
Audible free book: http://www.audible.com/computerphile Representing symbols, characters and letters that are used worldwide is no mean feat, but unicode managed it - how? Tom Scott explains how the web has settled on a standard. More from Tom Scott: http://www.youtube.com/user/enyay and https://twitter.com/tomscott EXTRA BITS: http://youtu.be/qBex3IDaUbU Data Security: http://youtu.be/4SSSMi4X_
第1回 漢字コードの基礎、JISコード
官庁や自治体における、いわゆる行政情報システムでは、一風変わった漢字コードが用いられている。人名や地名に必要な漢字を、それぞれの省庁が思い思いの形で、情報システムに搭載してきたためだ。本特集では、これら行政情報処理用漢字コードのうち、現在かなり大きなシェアを持つ3つの漢字コードの現状をお伝えしようと思う。 その3つとは、総務省系の「住民基本台帳ネットワーク統一文字」、法務省系の「戸籍統一文字」および「入国管理局正字」だ。さらに、これら3つの漢字コードを一体に統合すべく構築されつつある、経済産業省系の「文字情報基盤（IPAmj）」を最終回で扱う。 ただ、これら4つの漢字コードを理解するためには、JISで制定された漢字コードの理解が不可欠なことから、第1回の今回は、「JIS X 0213」と「JIS X 0212」について、行政情報処理の視点、特に異体字処理の視点から述べることにする。 マイナ
Unicode 7.0がリリース、ドクロや中指など約250の絵文字が追加
UNICODE CONSORTIUMは6月16日、「Unicode 7.0」の仕様を公開したと発表した。最新版では、2834個の新たな記号が追加されており、それらのうち、約250個は絵文字となっている。 絵文字のほかに、ロシアなどで使われている通貨「ルーブル」とアゼルバイジャンで使われている通貨「マナト」の記号、北米・中国・インド・アフリカの言語ための歴史的なスクリプトなどが追加された。 追加された記号はすべて、ジャンルごとにPDFファイルで公開されている。 絵文字は、「Emoticons」「Miscellaneous Symbols and Pictographs」といったジャンルに掲載されている。 ハート、ドクロ、サングラス、中指などが追加されている。
IE のせい？ Windows 7 のせい？ それともサイトのせい？
自著の書籍、記事、技術文書のフォローアップとか... （注：このブログは 2024 年 3 月以降更新されません。今後、予告なくサイトを閉鎖することがあります。ブログ主の引っ越し先は こちら） 前回の投稿で紹介した、Office Blogs 日本語の記事を見て気になったのは、「ス」が「???」と化けて表示されているところ（→）。ちなみに、ブラウザー環境は Windows 7 SP1 上の IE 11です。 こんな文字化け、最近、ちょくちょく見かけるような気がします。特に、TechNet Blogs (blogs.technet.com) やMSDN Blogs (blogs.msdn.com) の日本語コンテンツで。私の PC 環境だけの問題なのか、それとも... 同様の問題は別のチームのブログでも。今度は「ド」。こちらは Firefox だと文字化けしてません。ページのソースを見ると、<
Unicode spaces
This document lists the various space characters in Unicode. For a description, consult chapter 6 Writing Systems and Punctuation and block description General Punctuation in the Unicode standard. This document also lists three characters that have no width and can thus be described as no-width spaces. The third column of the following table shows the appearance of the space character, in the sens
スマホの絵文字には人種多様性が欠落しているという議論
By The All-Nite Images スマートフォンなどのメールやオンラインチャットで使われることの多い絵文字は、自分の気持ちや雰囲気を相手に伝えるのにとても役立つもの。日本発祥のコミュニケーションツールとも言われ、いまや世界中に広がりを見せる絵文字ですが、海外では思わず考えさせられる議論が巻き起ころうとしています。 Apple Responds To Emoji Diversity Problem http://act.mtv.com/posts/apple-responds-to-lack-of-diversity-in-emojis/ いわゆるガラケーに搭載され、日本独自のメール文化の一つであった絵文字は、Softbankの孫会長がAppleを説得してiPhoneに搭載されたことをきっかけに世界に広がったとも言われています。その浸透具合は、今や「Emoji」が世界で通用する単
電書端末非サポート文字一覧
電子書籍端末・アプリにおいて、日本語フォントの漢字・記号を中心に、表示できない文字を調査した。 調査範囲は、JIS X 0213と、Adobe Japan1-6に含まれるUnicode文字セットである。JIS X 0213に含まれる文字と、JIS外でAJ1-6に含まれるものを分けて表にした。以下の表の注記でAJ1-6とあるのは、cid-20317以降のことである。 調査方法は、文字チェック用EPUB(縦書)をサイドロード機能で各リーダに読み込み、空白または豆腐等に化ける場合を、目視で判断した。合成用文字のチェックは完全ではない。 最終更新: 2014/03/13 ※誤り、不足等ありましたら、twitterか emailでご指摘いただけるとありがたいです 電子ペーパー端末 機種 バージョン フォント JIS X 0213 Adobe Japan-1 0~6 IVS Kindle Paperw
豆腐のいろいろ - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
欠字を意味するいわゆる「豆腐」の表示には、フォントのGID=0に割り当てられているグリフが用いられる*1。 こんなかんじ。まあ、XP以前のMSフォントが表示するような「・」は「豆腐」とは呼ばないだろうけど。 *1:このエントリの最初のバージョンには「ヒラギノなどのAdobe-Japan1フォントではGID=0にグリフが割り当てられていないので、OS X上のInDesignでよく見かける豆腐は、フォールバックで表示されるAquaKanaのGID=0だと思う」と書きましたが、それは勘違いでした。Adobe-Japan1フォントも豆腐（nofdef）グリフを持っています。@monokanoさん、ご指摘ありがとうございます！
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2014.12.10 アップデート「漢字データベースとユニコード」 - JEPA
Noto Sans all unicode glyphs
全角チルダ問題
キャリア6社の絵文字がついに統一
Engadget | Technology News & Reviews
文字コードの脆弱性はこの3年間でどの程度対策されたか?
