Lucene Kuromojiのトークナイズを、Graphvizを使ってビジュアル化する - CLOVER🍀
ちょっと前に見ていたこちらのエントリ。 Solr + kuromoji で単語の切れ方がおかしかったのでガッツリ調べてみた、理由と調べ方その方法を公開します！ http://blog.yoslab.com/entry/2014/09/12/005207 kuromoji のサイトに行くと、トークナイズの処理を分析することができる。 http://blog.yoslab.com/entry/2014/09/12/005207 Atilika Kuromojiのサイトやkuromoji-serverで、Kuromojiのトークナイズの様子がビジュアル化できるようで、へぇ〜と思っていたのですが、最近Lucene Kuromojiで同じことができそうなことに気付き、ちょっとやってみました。 kuromoji-server http://atilika.org/kuromoji/ ※このページで、「
「お父さん - お母さん + チューハイ = ビール！？」word2vecで女性向けQ＆Aサイトを解析してみた - コネヒト開発者ブログ
こんにちは！ CTOの島田(@tatsushim)です。 前回のブログでは「データドリブン」開発手法について触れさせていただきました。 今回はIVS CTO Night & Dayで発表させていただいた内容についてご紹介したいと思います。 IVS CTO Night & Dayは、CTO及び技術責任者のためカンファレンスです。 GREE CTO 藤本さんのKeynoteに始まり、様々な技術責任者の方とディスカッションさせていただく濃い3日間でした。 非常に学びが多かったです。運営の皆様有難う御座いました。 初日にLTをする機会をいただきましたので、word2vecについて発表させていただきました。 こちらの発表内容について解説していきます。 そもそもword2vecとは？ ざっくり言うと、単語同士の関係性をベクトルとして表現し、そのベクトルを利用して類似度の計算や足し引きを可能にしたもので
[O] UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました
UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました Tweet [NLP] 今年3月中旬 [2015-03-13] に mecab-ipadic-NEologd をリリースして以来、mecab-ipadic-NEologd はとても順調に普及しています。 さて、今回は UniDic に新語や固有表現、Unicode 絵文字などを足すことができる mecab-unidic-NEologd を公開しました。 mecab-ipadic-NEologd を生成する手法を使っています。 https://github.com/neologd/mecab-unidic-neologd/blob/master/README.ja.md シードデータの性質上、構築されるシステム辞書には国語研短単位の条件を満たさないエントリも入りますので、あら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/neologd/mecab-unidic-neologd/blob/master/README.ja.md
MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
