GitHub - ikawaha/kagome: Self-contained Japanese Morphological Analyzer written in pure GoYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
自然言語にマッチする正規表現を書いて、形態素解析結果でテストして、置換するライブラリを書いた
textlintのルールを色々書いていて自然言語のマッチの問題がいくつかありました。 textlint-ja/textlint-rule-preset-JTF-style: JTF日本語標準スタイルガイド for textlint.は基本的に正規表現をベースに実装していました。 正規表現で自然言語に対してマッチするのは簡単でいいのですが、意図しない範囲にマッチすることもあるためfalse-positiveになりやすい問題がありました。 一方、ですます or である調の混在をチェックするtextlint-rule-no-mix-dearu-desumasuでは、kuromoji.jsなどで形態素解析した結果を使っています。 形態素解析をすることで(正しい日本語なら)より正確にマッチできます。 しかし、形態素解析のトークンに対してマッチする処理やその情報を元に置換するのは結構面倒です。 kur
GitHub - google/sentencepiece: Unsupervised text tokenizer for Neural Network-based text generation.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mocobeta/janome: Japanese morphological analysis engine written in pure Python
GitHub - spencermountain/compromise: modest natural-language processing
GitHub - leungwensen/cjk-tokenizer: A CJK text tokenizer
