UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま

Shift_JIS の CSV で連携する外部サービスがあり、DB では UTF-8 でテキストを持っていたため文字コードを変換する必要が生じた。 ところが UTF-8 に存在する多くの文字は Shift_JIS に対応がないため変換することができない1。 そこで、事前に NFKC 形式で Unicode 正規化することで変換可能な文字を増やすことを試みた。 まずは Unicode 正規化の前提として、Unicode の正準等価と互換等価について説明する。 以降の U+16進数 という表記は Unicode のコードポイント (文字に ID のようなものが割り当てられている) を示す。 また、コードポイントに対応する文字の詳細は https://codepoints.net/ といったサイトで確認することができる。 正準等価 例として、ひらがなの「が」について考える。Unicode では「

[gabari]

これなー。macのUnicode扱いがなければまだマシなのにと思わざるを得ない

[hideaki_kawahara]

Shift_JISのCSVで連携する外部サービスをUTF-8にしろと言いたいが、もしExcelならTSV形式に変えればOK

[NOV1975]

iconvでそのへんって頑張ってくれないのかな

[mr_mayama]

実践向きで概要として最低限で、わかりやすい良い内容だった。文字コードの変換は正解があるようで結局ケースバイケースだったりするから難しい。

[Sampo]

Unicode文字列を書記形態素に分解してひとつずつSJIS変換を試み、ダメだった形態素は正規化してからSJIS変換を試みるを繰り返す、かなあ

[iga_k]

Unicode 正規化してからShift_JISにする