CNNによる文字コード不明なドキュメントの推定 - にほんごのれんしゅう

CNNによる文字コード不明なドキュメントの推定 Advent Calender遅刻いい訳 年末忙しすぎた ネタと期待していたいくつかがまともに結果が出ずに苦しい思いをしていた 元URLの喪失 バイト列から文字コーディングを推定する Twitterで時々バズるネタとして、機械学習がこれほどもてはやされるのに、今だにBrowserは時々文字化けし、ExcelはUTF8を突っ込むと文字化けし、到底、文化的で最低限の人権が保護された状態ではありません。 実際、ルールベースで推定しようとすると、この様にshift jisとeucでは完全に背反な情報を使っているわけでないので、なんらかのヒューリスティックなルールを人間が作成して対応していたのだと思いますが、この様なユースケースの場合、機械学習が強い力を発揮します。 図1. sjisとeucの文字コードのバイト列のマップ(参考：smdn) その度、「そ

[carrion-crow]

文字コード判定、統計的にしか出来ないならDeepLearningが強そう……と思ったらやってる人がいた。「ニュースサイトの文字列をnkfで様々な文字コードに変換して学習データにする」賢い。日本語以外もやるのは大変かな？

[morioka]

"sotfmaxではなく、3つのsigmoidを出力して、それぞれのbinary cross entropyを損失としています。出力の解釈性が良いので個人的によく使うテクニックです"

[sugibuchi]

Mozilla chardetとかGoogle CEDなどの既存ライブラリと比べても精度が出るのかな。ある程度の長文だとchardetでも実用上は十分だと思うので、超短文とかHTMLタグ混じりとかでも精度が出ると面白い。

[knok]

統計ベースのエンコーディング推定ライブラリは既にあった記憶があるけど名前を思い出せない

[shogo_okamoto]

CNNで文字コード判定

[mergyi]

すごい

[takeda25]

ある程度の長さがあるテキストの文字コード判別というタスク自体は短いスクリプトで一瞬だけど、対象コードに対する知識ゼロでできるというのはいいかも。

[takuya-a]

なるほど