頻出単語表示、わずか9KBのAI日本語単語分割ライブラリ「TinySegmenter」をESモジュール化

自由入力された文章をデータ化する形態素解析ですが、巨大な辞書が必要になったり次々登場する単語に対応することなどなかなか大変そうなイメージでしたが、機械学習を使った、単語分割するコンパクトな実装「TinySegmenter」を発見。ブラウザやDenoでいい感じに使えるESモジュール版にしてみました。 「頻出単語表示 by TinySegmenter」 文章を入れると、頻出単語順に並び替えて表示する、サンプルアプリ。このアプリでは、3文字以上を単語としています。一日一創ブログをコピペしてみるといい感じに！ プログラムで組み込む方法は簡単、ブラウザやDenoで下記コードを入れるだけ。 import { TinySegmenter } from "https://code4fukui.github.io/TinySegmenter/TinySegmenter.js"; const segs = T

[gabill]

昔これ使ってはてブのホッテントリを要約するやつ作った。 https://xiidec.appspot.com/markov.html

[yamada_k]

TinySegmenter 懐かしい。当時(2008年)はなんでも「AI」とつける風潮はなかった。 https://b.hatena.ne.jp/entry/chasen.org/~taku/software/TinySegmenter/

[rawwell]

“ブラウザやDenoでいい感じに使えるESモジュール版にしてみました。 ”

[GENS]

ライトに名刺・形容詞・動詞とるなら良いかも。Web広告のサジェスト取得用かな。厳密にやるにはがっつりメモリ使って mecab-ipadic-neologd。（更新2年前に止まってるけど…）

[kkobayashi]

すげーな、どうやっとんやろ

[wdoomer]

日報をぶち込んでみるか

[aceraceae]

ニセ文節区切りを思い出す。文節と単語は違うけど。

[nmcli]

MeCab とうまく使い分けしてみたい

[napsucks]

ちらほら分割ミスっぽいのが見つかるけど超コンパクトだね。精度向上に期待

[cj3029412]

すげーwwwwwwwwwwwwwwwwwwwww 品詞分解のプロ(僕です)失業危機ー(もともとそんな仕事はありません)

[skypenguins]

9KB！？軽いなあ