Python で Unicode 正規化 NFC/NFD の文字列を扱う - forest book

先日、ビジネスパーソン向けの Python 本を執筆したことを書きました。 t2y.hatenablog.jp 本稿では本書のことを「できるPy」と呼びます。 Amazon でいくつかカスタマーレビューもいただいて次のコメントをみつけました。 python3.7 対応ということで、pathlib を使ってる点が（古いpython は切り捨てる！的なところは）潔いと言えば潔いし、日本語のファイル名にも気を配っている記述はオライリーに期待するのは酷なところもある。でもこの本でもNFD問題は全くの記述無し。だめだろ、それじゃ。 Amazon CAPTCHA まさに仰る通りです。執筆時にそのことに気づかずご指摘いただいてありがとうございます。 ここでご指摘されている NFD 問題というのは、ファイル名のみに限った問題ではなく、Unicode の文字集合を扱ってエンコード／デコードするときに発生する

[ono_matope]

ヘェ〜と思ってmacOS 12.3.1 (apfs)で作ったフォルダ名やファイル名を確認したらNFDでびっくりした。Blenderのファイルビューアが濁点や半濁点を分離表示するのが不思議だったんだけど、そういうことだったのか。

[otori334]

Automatorが返すフルパスがNFDで困った．macOSの古い機能が更新されてないっぽい．

[kkobayashi]

Macで作ったと思われる文章がNFDでイライラMAXになった事があるけどあれは古いMacなのか。

[havanap]

OSが統一されてるとそんなに問題にならないというか主にAppleのやつのとの相互運用だけ問題なんだよなあ

[yarumato]

“python3.7対応でpathlib使って日本語のファイル名扱うのにNFD問題の記述無しはまずい。NFC/NFD問題とは「プU+30D7」と「フU+30D5と合成用半濁点U+309Aのプ」は Unicode上で別の文字だから検索一致しない問題。NFDは昔のmacOS”

[mysql8]

'①1１'.normalize('NFKC') // NFKC脳

[ya--mada]

ややこし、unicodeにおける同型異字の正規化のことをNFC/NFD と呼ぶのだそうな。

[moromoro]

改訂時に入ったらかいたいやつ

[takehikom]

RubyだとString#unicode_normalize

[fcicq]

unicodedata.normalize('NFKC', s)

[ottijp]

[NFC] [NFD] [ranger]