エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
TinySegmenterを実装して分かち書きを理解する
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
TinySegmenterを実装して分かち書きを理解する
分かち書きの勉強のため、TinySegmenterを再実装、再学習した。 ソースコード一式はこちら。 分かち書き... 分かち書きの勉強のため、TinySegmenterを再実装、再学習した。 ソースコード一式はこちら。 分かち書き 文を単語に分けるアレ。日本語の自然言語処理では大前提となる処理。だいたいMeCabにお願いする。 MeCabが超優秀なので何の苦労をすることもないが、NLPerとしては動作原理をさっと説明できるようにしておきたい。 「そういえば分かち書きってどうやってるの??????」 などと聞かれて、さらっと答えられないと気まずい。 「よく理解してないで使ってるの??????」 とか 「ブラックボックス化してるんじゃないの??????」 とか言われるでしょう(想像)。 MeCabは条件付き確率場(CRF)を使用していて、いきなり入るには難しいので、簡単なTSからはじめます。 TSが簡単な理由は2点 X 形態素解析/O 分かち書き X CRF/O 点推定 ようは簡単なタスクを簡単なモデルで解い