PDFをコピペするとなぜ“文字化け”が起きてしまうのか 変換テーブル“ToUnicode CMap”が原因だった

NTT Tech Conferenceは、NTTグループのエンジニアたちが一堂に会し、NTTグループ内外のエンジニアたちと技術交流を行うためのカンファレンスです。ここで、細田氏が「PDFのコピペが文字化けするのはなぜか？〜CID/GIDと原ノ味フォント〜」をテーマに話します。まずは文字化けが起こってしまう原因について。 原ノ味フォントの作成者 細田真道氏（以下、細田）：細田です。ふだんはNTTグループのどこかでDXな仕事をしていますが、今日はぜんぜん仕事とは関係なく、個人的にやっているオープンソースなどの話をしたいと思います。よろしくお願いします。 簡単に自己紹介をします。楽譜を作成するプログラム「LilyPond」のコミッターと、GNUの公式文書フォーマット「Texinfo」のコミッターをしています。あとで話しますが、「原ノ味フォント」を作っていて、すごく似たような名前で「原ノ町」という

[iww]

ちゃんと表示されてるけどコピペするとぐちゃぐちゃになるタイプの難読化PDFってうまくやれば流行るんじゃないかな

[junjuns7]

官報が、コピペは化ける、テキスト出力すると見えてるのとは違う文章が出る、という非常に厄介なPDFで困ります。

[chikoshoot]

と゛お゛し゛て゛た゛よ゛お゛お゛お゛お゛お゛！

[sotter0x]

「初見はハ長調で高音の白玉があった」例文の意味が通ってて感動した。

[ya--mada]

パカパカする画像が貼ってあって読みづらい…

[skt244]

一部のpdfでコピペしたらリピートみたいになるのはなぜか

[htnmiki]

面倒だからOCRでいくか

[Dai44]

何文字も連続しちゃうコピペのときは、ChromeでPDFを開いてコピペするとうまくいくのも、Chromeのせいなのかな

[six13]

文字化けよりも、ペーストするとコピーした文字が重なりまくる事象をよく見るなあ。

[ardarim]

定期的に浮上する鉄板ネタ

[richard_raw]

おのれ康煕字典！（違

[Lhankor_Mhy]

フォント内蔵の文字コード→グリフマッピングがN対1なのが原因、と。/ その2→https://logmi.jp/tech/articles/324412

[tmatsuu]

わいわい。コピペできるほうが奇跡

[natroun]

おもしろい。そういう仕組みになっているのか。例の「㌀」もこれと関係あるのかな。

[rryu]

グリフから文字コードへの逆変換なので部首漢字などの同一のグリフが割り当てられている文字が化ける可能性があると。

[georgew]

どういったフォントのグリフを、どこに配置するかという情報だけが存在しているのが普通のPDF > へー、これは知らなかった。文字コードは入ってないんですね。

[pmakino]

ずっと不思議だった件

[deep_one]

『文字化けの発生メカニズムとしては、cmapのテーブルで文字コードの「見」が入ってきたとき、正変換してGIDに変換します。2500番ということがわかった。このときに、変換前が898Bだったことを忘れてしまいます』

[timetrain]

下手するとコピーよりOCRに掛けた方が精度が良かったりするからなあ

[itochan]

ちゃんとやれば、ちゃんと戻るのに、ちゃんと逆変換していないらしい。次回に期待。

[Kmusiclife]

前もどこかで見た記事だで

[skam666]

“PDFの中には(中略)文字コードへの変換テーブルがちゃんと入っている。これはフォントごとに用意されています(中略)コピペできるPDFには、これが入っています。逆にいうと、コピペできないPDFには入っていない”

[mayumayu_nimolove]

〜ちゃん大好きってツイートをコピペすると〜○ねって変換される技術は割と需要高そう

[hello-you]

これホント困る。何とかして欲しい

[yarumato]

“実は大部分のPDFは、普通のテキストが入っていなくて、どういったフォントのグリフ（CIDやGID）を、どこに配置するかという情報だけある。PDFの中身を覗いてみよう。部首文字がないフォントなら文字化けはしない”

[threeMonths]

qpdfで中身をわかりやすく

[daishi_n]

もともとPDFは「どんな環境でも印刷物と同じに見える」なので、テキスト関係がロクなことになってないのは予想できたが、フォントのコード埋め込んでたか

[aburi_engawa]

“PDFはすごく昔からあるものなので常にこうではありませんが” えー！と思ったけど日本語埋め込めるようになって20年か。オフィス文書で気軽にボールド指定したいけど後でpdfにすること考えると未だに避けてる

[xnissy]

そうそう、検索できなくて困るのよー

[moromoro]

今度使いそ

[ebibibi]

闇が深いですね…

[makou]

リガチャを戻せるって話かと思ったら、部首に使われやすい字が化けるって話だった。

[samehadax]

なんでもかんでも元原稿手に入るとは限らないし、どうしてもPDFから起こさなきゃいけない場面出てくるよね… 続きを楽しみにしてます