Mozc(Google日本語入力)のコードを読んだメモ - 射撃しつつ前転 改

Google日本語入力がOSS化されたということで、気になっていたところをいくつか確認してみた。 変換アルゴリズムはどんな感じか？ twitterの工藤さんの発言にも「わりと古典的な最小コスト法」とあるけれど、まさにそんな感じ。人名の処理とかでちょっと特別なコードが入ったりもしているが、ほぼ基本的な統計的かな漢字変換のモデル。係り受けの情報とかは使っていない。Viterbiでベストパスを求めて、品詞ベースで文節にまとめあげている。コストモデルは接続コストが品詞対品詞で、単語コストの方は単語毎に設定されているっぽい。 src/converter/immutable_converter.ccのImmutableConverterImpl::ViterbiがViterbiアルゴリズムの部分で、その後にMakeSegmentsで文節にまとめている。読むならImmutableConverterImp

[nakanushi]

"ほぼ基本的な統計的かな漢字変換のモデル。係り受けの情報とかは使っていない"

[acqacar]

Browsing: Mozc(Google日本語入力)のコードを読んだメモ - 射撃しつつ前転

[lizy]

シュールｗｗｗ 「ただしイケメンに限る」http://code.google.com/p/mozc/source/browse/trunk/src/data/dictionary/suggestion_filter.txt

[matsui]

※

[kaerucircus]

本当に書いてあったwww collocation.txtもついでに見て欲しい　　# A set of word which won't be shown in suggestion/prediction ただしイケメンに限る

[mooz]

基本的な統計的かな漢字変換. Bigram の Viterbi. 品詞ベース. ひらカナ変換に Double Array. システム辞書に LOUDS. Darts と rx 使用.

[K-Ono]

googleの中の人も非モテなんですね、わかります。

[ionis]

ってか、OSS化してたのかｗそんな仕組みなんだな～としみじみ。

[ghostbass]

「中身は「ただしイケメンに限る」という1文しか入ってなかった。」？？