MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog

こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは、MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）を開発しています。プログラミング言語Rustで実装しており、高速に動作することが主な利点です。Vibratoはオープンソースソフトウェアとして以下のレポジトリで公開しています。 github.com 本記事では、Vibratoの技術仕様を解説します。以下のような方を読者として想定します。 自然言語処理の要素技術に興味のある方 データ構造・アルゴリズムに興味のある方 Rustでの自然言語処理に興味がある方 Vibratoについて 最小コスト法による形態素解析 単語ラティスの構築 最小コスト経路の計算 高速化の取り組み 辞書引きのキャッシュ効率化 実装での注意点 連接コスト参照のキャ

[knok]

まだ高速化の余地があったんだ。MeCabはUTF-8以外も扱えるのでこの方法すべてをとれるとも限らないのかな

[spark7]

形態素解析器は和風の微妙な名前つける縛りがあるんじゃなかったのか

[bike-a-to-z]

これは凄いぞ。mecabは大量にクレンジングしようとするとクソ重いのがネックだった。

[efcl]

Rustでの形態素解析器の実装とパフォーマンス。 キャッシュヒットの改善

[misshiki]

“MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）”

[cj3029412]

これはすごい。すばらしい(^^)試すー💕

[GENS]

わかりやすく書いてくれてありがたい。次に形態素解析使うときは利用候補に入れます。