形態素解析器 Sudachi の辞書が手に入ったので Go で遊んでみた - 押してダメならふて寝しろ
はじめに Sudachi はワークスアプリケーションズが絶賛開発中の形態素解析器で，Java で書かれています． 今一番新しい注目すべき形態素解析器で，次のような機能が特徴としてあげられています． 複数の分割単位の併用 必要に応じて切り替え 形態素解析と固有表現抽出の融合 多数の収録語彙 UniDic と NEologd をベースに調整 機能のプラグイン化 文字正規化や未知語処理に機能追加が可能 同義語辞書との連携 (後日公開予定) github.com 開発のステータスは公式には発表されていない(?)ようですが，開発中で本リリースはこれからかな・・・と思います．（実際のところ，スケジュールなどはどうなんでしょうか？） 最近，Sudachi の辞書がレポジトリからダウンロードできるようになったので，kagome の辞書に加工して少し遊んでみました． 以下，公式情報ではない＆開発で変更される
それはたぶんあなたの欲しかった名詞ではない - 押してダメならふて寝しろ
概要 形態素解析してテキストの中から名詞っぽいところだけを抜き出したい．ってのはよくある話だと思うのですが，単純にやるといろいろ混じってます． ( '-`).oO( そもそも抜き出してるのは名詞の形態素であって，名詞句じゃないもんな・・・． 名詞を抜き出す kagome の単純なサンプル package main import ( "fmt" "github.com/ikawaha/kagome/tokenizer" ) func main() { t := tokenizer.New() tokens := t.Tokenize("寿司が食べたい。") for _, token := range tokens { if token.Pos() == "名詞" { fmt.Printf("%s\n", token.Surface) } } } output $ go run main.go
C#でRakuten MA使って形態素解析してみた。 - 眠いしお腹すいたし(´・ω・`)
夜遅くにツイッターみてたらフォローさせていただいてる絵空事さんがこんなのツイートしてました。 pypi.python.org Rakuten MAってなに？ ってことでちょっと調べてみました。 github.com JavaScriptの形態素解析をするライブラリみたいです。 この手の分野は全然疎くて.NETで形態素解析っていうとNMeCabなぁってことくらいしか知りませんでした。 このライブラリはブラウザ上かnode.jsがあれば実行できるって言う事が分かりましたが そういえばJavaScriptをC#上から実行ってできないのかな？ ってふと思いました。 javascript C# 実行 なんてキーワードで検索したらASP.NETに関する結果ばかりヒットしてしまいました。 検索を進めると www.infoq.com こんな記事を発見(*'▽') node.jsとEdge.jsの間の接続は
golang で形態素解析を並列実行させて Word Count する - 押してダメならふて寝しろ
はじめに kagome は goroutine セーフに作ってあるんですが，あんまり並列実行的なサンプルとか書いてないなと思って並列実行でテキストに出てくる名詞を引っこ抜いて数えるサンプルを作りました． あと，昨日 suzuken =san が 形態素解析をした後の品詞が取り出しにくいよという Issue を上げてくださって，Token に Pos() という品詞を取り出すメソッド追加しました．今までは， if t := tok.Features(); len(t) > 0 && t[0] == "名詞" { // 名詞の時の処理 } と書いていたのを if tok.Pos() == "名詞" { // 名詞の時の処理 } と書けるようになりました．suzuken = san ありがとうございます． ( '-`).oO( 品詞以外も便利関数欲しいところですが，辞書によって辞書内容がかなり自
kuromoji.jsでmecab-ipadic-NEologdを使う - Qiita
JavaScriptだけで形態素解析ができるkuromoji.jsで、mecab-ipadic-NEologdを使いたいなーと思って、試してみました。 結論 辞書生成はできた 辞書サイズが大きすぎてメモリ馬鹿食いする 読み込みに時間がかかる サーバサイドでの使用ならいいかもしれませんが、クライアントサイドでの利用は難しいかなと思いました。 サーバサイドなら素直にmecab使うほうが楽な気はしますね。 辞書生成方法 追加辞書の用意 ここから追加辞書をダウンロードして解凍します。 ここではmecab-user-dict-seedを追加しようと思います。
長単位解析器Comainu 0.72をリリースしました - skozawa's blog
中・長単位解析器Comainuのバージョン0.72をリリースしました。 バグフィックスです。 リリース comainu 0.72 - 中・長単位解析器 Comainu - OSDN 一部にハッシュの順序を前提としたコードが含まれていたため、ハッシュの順序がランダムとなったPerl5.18以降で動作がおかしくなる現象がたまに起きるようになっていました。 perl5180delta - perl v5.18.0 での変更点 - perldoc.jp 問題点の指摘、および、丁寧なデバッグをして頂き、@katsuhitosudoh さんありがとうございました。 Perlが新しいとComainuがコケることが分かったのが昨日の収穫。いつからかは知らないが5.16.1はセーフ、5.22.0はアウト。はっきりとは分からないけどhashの暗黙の要素順の問題なのかな…— Katsuhito Sudoh (@
TinySegmenter.jl の高速化手法を追っかけてみた - 押してダメならふて寝しろ
今日の元ネタはこちらです． chezou.hatenablog.com 他言語との比較が行われているわけですが，Julia 版はアルゴリズムの作りが他とだいぶ変わってしまっているので， そのまま比較するのはどうかなと思うわけですが，でも，Julia が書けるわけでもないので，ざっくりどんな高速化が行われたのか golangで追っかけてみました（結局 golang ネタです）． TinySegmenter はもともと javascript でコンパクトに書かれた分かち書き用のプログラムです． TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア なるべくオリジナルに忠実に golang で実装して，そこから Julia 版の高速化手法を盛り込んでいってパフォーマンスを見ていきます． で，こちらにご用意したのが golang 版です． shogo
山本昌投手と各球団の関係をjanomeとTF-IDF Cosine Similarityで類似度ソートする - Qiita
PyCon2015で紹介されたjanome便利ですね。今年引退した名投手山本昌選手と各球団との関係をwikipediaの文章で類似度ソートしていきたいと思います。 今回やること wikipediaの文章から形態素解析器janome使って日本語の名詞を抽出し、TF-IDFで特徴ベクトルを抽出。各記事の特徴ベクトルで内積してcosθを取れば、0〜1の範囲でのエントリの類似度が取得できます。文章の類似度で記事をソートすれば完了です。 janomeが便利なところ mecabのインストールはpythonのバージョンへの依存性や辞書追加インストールが必要で、構築がとにかく手間です。pipでインストールできるjanomeは便利。形態素解析が必要になったとき手軽に挑戦できます。 janomeを使ってみる pip install janome from janome.tokenizer import Tok
Pyconjp2015 - Python で作って学ぶ形態素解析
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
kuromoji.jsの辞書に単語を追加する - Qiita
やりたいこと kuromoji.jsを使って、提供されている辞書に単語を追加したい。 環境 OS X Yosemite 10.10.5 手順 mecab, mecab-ipadicをインストール 追加したい単語の辞書用CSVファイルを作る mecab-ipadicのモデルファイルからコストの自動推定をする kuromoji.jsで辞書を作成する 確認 1. mecab, mecab-ipadicをインストール Node.jsでmecab-ipadic-NEologdを使うを参考に、mecabとmecab-ipadicをインストールする。 $ brew install mecab mecab-ipadic xz $ echo '施行期日' | mecab 施行 名詞,サ変接続,*,*,*,*,施行,シコウ,シコー 期日 名詞,一般,*,*,*,*,期日,キジツ,キジツ EOS
kuromoji.jsを使って日本語クローズテスト
クローズテストってものがあるらしい オライリーから出ているインタフェースデザインの実践教室という本を読んでいたところ、文章のユーザビリティをチェックする為のクローズテストについて説明がありました。 簡単に説明すると一定間隔で穴が開いた状態のテキストを読んで、ユーザーが文章の意味をくみ取れるかをチェックする為のテストです。 ある程度の単語が隠れた状態でも伝わる文章を書けという事でしょうか。 詳しくはこちら Testing Content · An A List Apart Article 実装してみよう 先に上げた本の中で訳者が、日本語でUI用途の利用例が見つかれないよーと書いてあったので早速実装してみました。 また、先日からJavaScriptで言語処理100本ノック2015というのに取り組んでいる最中でしたので、kuromoji.js というライブラリを使いJavaScriptでの実装を
1binary 自己完結型の 形態素解析器 kagome を 作ってみた話 - 押してダメならふて寝しろ
GoCon 2015 Summer の発表スライドです．
形態素解析器 売ってみた
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)Toru Fujino
Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja)
Welcome to janome's documentation! (Japanese)¶ English Janome とは¶ Janome (蛇の目; ◉) は，Pure Python で書かれた，辞書内包の形態素解析器です。 依存ライブラリなしで簡単にインストールでき，アプリケーションに組み込みやすいシンプルな API を備える形態素解析ライブラリを目指しています。 内包辞書として mecab-ipadic-2.7.0-20070801 を使っています。なお，v0.3.8+ では新元号「令和」がシステム辞書に追加されています。 ソースコードリポジトリ¶ https://github.com/mocobeta/janome 気に入ったらリポジトリにも★つけていってください！ :) API リファレンス¶ https://mocobeta.github.io/janome/api/ 動
moco(beta)'s backup: 辞書内包／Pure Python実装の形態素解析器 Janome を公開しました
一応の基本機能がととのったので、できたてほやほやではありますが、Python製の形態素解析器 Janome を公開しました。 http://mocobeta.github.io/janome/ インストール方法や使い方は上記ページを見てください。 ソースコードはGithubにおいています: https://github.com/mocobeta/janome 【公開にいたった背景など】 日本語テキストを分析したりテキストマイニングする場合、まずは形態素解析から始めると思います。 Python の場合、そのためには MeCab をインストールして、mecab-ipadic をインストールして、mecab-python をインストールする、という手順を踏むことが多いと思うのですが、環境依存のところでハマって面倒な思いをしたり、サーバ構築の手間がかかったり、しますよね。なので、Pythonモジュ
kuromoji.js - Webブラウザ上で分かち書き！ MOONGIFT
テキストから意味を読み取るというのは非常に難しく、そのための専用ソフトウェアが存在するほどです。そしてテキスト解析手法の一つとして知られているのが分かち書きです。日本語であればChasenがよく知られています。 kuromoji.jsはそんな分かち書き処理をJavaScriptで行ってしまおうというソフトウェアになります。KuromojiというApache財団のオープンソース分かち書きエンジンをJavaScriptにポーティングしています。 kuromoji.jsの使い方 こちらはデモです。Webブラウザベースで動作しています。nodeでも使えます。 適当な文章をリアルタイムに分かち書きできます。 kuromoji.jsは辞書ファイルをAjaxで取得しています。そのためサイズは大きくなりますが、分かち書きの精度はとても高くなります。サーバサイドで辞書を用意したり分かち書きエンジンを用意する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - WorksApplications/Sudachi: A Japanese Tokenizer for Business
NLP Lab, Nagaoka Univ. of Tech. - Conference
GitHub - takuyaa/kuromoji.js: JavaScript implementation of Japanese morphological analyzer