タスクに合わせたトークナイザ、単語分割に関連したポエム - yasuhisa's blog
ポエムを適当に書きます。2本立て。週末のノリなので、適当です。 Sentencepieceの紹介記事を読んだ 文書分類でneologdとmecabを比較した まとめ Sentencepieceの紹介記事を読んだ ニューラル言語処理向けトークナイザのSentencepieceについて書かれた紹介記事を読みました。 自分用の要約すると ニューラル言語処理では語彙数が大きくなると扱いにくい 単語をサブワードに分割できるものは分割して、語彙数を制限する(数千から数万)方法がよく使われる 尤度を最大にするエントロピー圧縮の一部と見なせる スペースもメタ文字に置き換えて生文を食わせることにより、detokenizeが言語によらず簡単になる 翻訳等のタスクで助かる! こういうのが必要なくなる 単語分割されたものからさらに分割するわけではなく、生文からやるために計算量オーダーの削減が行なわれている 従来の
[O] mecab-ipadic-NEologd v0.0.2 をリリースした
mecab-ipadic-NEologd v0.0.2 をリリースした Tweet [日記] 今日、6/23の朝 [2015-06-23] に、mecab-ipadic-NEologd の v0.0.2 をリリースしました🎉。 https://github.com/neologd/mecab-ipadic-neologd/releases/tag/v0.0.2 前回の v0.0.1 からの大きな差分は以下の5点です。 - 3ヶ月分の新語 - Unicode 6.0以前の絵文字に読みと品詞情報を付与 - IPA辞書に未再録で区切り間違う or 読みを付与できない副詞 - unk.defを変更して記号を記号,一般に - IPA辞書の一部のエントリの読み仮名誤りを修正 3ヶ月分の新語 v0.0.1以降に新しく再録したエントリは、diff以下で記録しています。 https://github.co
「お父さん - お母さん + チューハイ = ビール！？」word2vecで女性向けQ＆Aサイトを解析してみた - コネヒト開発者ブログ
こんにちは！ CTOの島田(@tatsushim)です。 前回のブログでは「データドリブン」開発手法について触れさせていただきました。 今回はIVS CTO Night & Dayで発表させていただいた内容についてご紹介したいと思います。 IVS CTO Night & Dayは、CTO及び技術責任者のためカンファレンスです。 GREE CTO 藤本さんのKeynoteに始まり、様々な技術責任者の方とディスカッションさせていただく濃い3日間でした。 非常に学びが多かったです。運営の皆様有難う御座いました。 初日にLTをする機会をいただきましたので、word2vecについて発表させていただきました。 こちらの発表内容について解説していきます。 そもそもword2vecとは？ ざっくり言うと、単語同士の関係性をベクトルとして表現し、そのベクトルを利用して類似度の計算や足し引きを可能にしたもので
MeCab システム辞書への単語追加（mecab-ipadic-neologd）
MeCab 辞書には、以前の記事でご紹介した「ユーザ辞書」と「システム辞書」の２種類があります。ユーザ辞書への単語の追加は、手軽な反面、解析速度が落ちるといったデメリットもあります。そこで今回は、MeCab の「システム辞書」に単語を追加する方法をご紹介します。また、最近話題の新語辞書 mecab-ipadic-neologd もシステム辞書に追加してみました。 作業の流れMeCab のシステム辞書は１つのみ、というルールがあるため、IPA辞書のソースディレクトリに、追加したい単語のCSVファイルを配置して、システム辞書を作成します。また、追加する単語のコストは、mecab-ipadicのモデルファイル使った自動推定機能を使います。 下準備MeCab と IPA辞書をインストールしておきます。 nkf コマンドのインストールIPA辞書の文字コードを、UTF-8 に変換するため、nkf コマ
あらゆる単語や文字列を正しく認識するための技術とデータについて - YAPC::Asia Tokyo 2014
How to build the neologism dictionary for Japanese natural language processing 月に数回更新している OSS な MeCab の新語・固有表現辞書の詳細、使用例について言及します。また、日本語自然言語処理の発展(例 : SF 映画の様にロボットの発するジョークで人間が豊かな気持ちになる未来)のために必要なデータの内容や形式、希望する公開方法についてお話します。 長い本文 単語や文字列を正しく読める・認識できることは、ネットを介して人と人が円滑に交流するために必須です。 それをコンピュータができる様にすることは、人間の言葉を電子テキスト化した情報を活用して便利な世の中を実現するためにも大切です。 例えば、検索エンジンの様々な機能や、ニュースアプリケーションのニュース記事の自動カテゴリ分類などは、コンピュータが単語や
Node.jsでmecab-ipadic-NEologdを使う
kuromoji.jsを使ってみたに引き続き、Node.jsでmecab-ipadic-NEologdを使ってみた際のメモです。 システムにmecabとmecab-ipadic-NEologdを導入し、mecabのラッパーであるmecab-async経由で形態素解析する例です。 mecab-ipadic-NEologdの導入mecab-ipadic-NEologdを導入するために、まずはmecabとmecab-ipadicをシステムに導入します。 手順については、mecab-ipadic-NEologdのREADMEに詳しく書いてありますので、ここでは、OSXの場合の手順を抜粋しておきます。 # mecabとmecab-ipadicと関連ツールをbrewでインストール $ brew install mecab mecab-ipadic git curl xz # mecab-ipadic-
[O] UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました
UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました Tweet [NLP] 今年3月中旬 [2015-03-13] に mecab-ipadic-NEologd をリリースして以来、mecab-ipadic-NEologd はとても順調に普及しています。 さて、今回は UniDic に新語や固有表現、Unicode 絵文字などを足すことができる mecab-unidic-NEologd を公開しました。 mecab-ipadic-NEologd を生成する手法を使っています。 https://github.com/neologd/mecab-unidic-neologd/blob/master/README.ja.md シードデータの性質上、構築されるシステム辞書には国語研短単位の条件を満たさないエントリも入りますので、あら
🍻(Beer Mug)の読み方を考える(mecab-ipadic-NEologdのUnicode 絵文字対応)
PyData Tokyo 05 でのLTのプレゼン資料です。 絵文字に対応した mecab-ipadic-NEologd は以下からダウンロードできます。 https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md 以下は資料のまとめです。 - mecab-ipadic-NEologdで絵文字に読みを付与するためのエントリを”試験的”に追加したという話 -mecab-ipadicと併用すれることで、絵文字の読み・原型の文字列で検索が可能になりました - 応用 => 言語処理・音声処理・コンテンツ監視等が考えられます - 今後アノテーションは徐々に改善していきます
dockerでmecab-ipadic-neologdなmecabを試すためのコンテナ作った - Less is Best
久しぶりのブログ。 mecabを久しぶりに弄ろうかと思ったら便利なやつが出てたのでDockerで簡単にインストールできるようにしておきました。 github.com googlecode.comを参照しているので2016/01/25には使えなくなると思いますが、とりあえず試すには使えると思います。 以下のコードをコピペでDockerさえ整っていればすぐに使えます。 code git clone https://github.com/yss44/docker-mecab-ipadic-neologd cd docker-mecab-ipadic-neologd chmod +x build run ./build echo "10日放送の「中居正広のミになる図書館」（テレビ朝日系）で、SMAPの中居正広が、篠原信一の過去の勘違いを明かす一幕があった。" | ./run result 10日
修正されたmecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる - CLOVER🍀
先日、このようなエントリを書きました。 mecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる http://d.hatena.ne.jp/Kazuhira/20150315/1426391366 mecab-ipadic-neologd自体については、こちら。 MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました http://diary.overlasting.net/2015-03-13-1.html このエントリでは、LuceneのKuromojiにmecab-ipadic-neologdを適用してみたのですが、2つの問題が出ました。 ひとつは、Kuromojiがmecab-ipadic-neologdのシード辞書に含まれる原形が15文字を超える単語を取り込めないこと。もうひとつは、同じくmecab-ipadic
NMeCab でも mecab-ipadic-neologd を使ってみた - しばやん雑記
Twitter で新しい MeCab 用の辞書が公開されたことを知ったので、例によって NMeCab で試してみました。 [O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました MeCab に付いている IPA 辞書はかなり更新されていないので新語に弱いですが、今回公開された新しい辞書は Wikipedia やはてなキーワードなどから新語を収録しているらしいです。これは素晴らしいですね。 この mecab-ipadic-neologd は Linux か OS X 上でビルドする必要があるみたいなので、適当に立ち上げてあった Ubuntu の仮想マシン上にインストールして、バイナリ辞書を Windows にコピーしてくることにします。 公開された辞書はインストール時に IPA 辞書をベースにしてコンパイルしてくれるみたいです。ちなみに辞書のサイズはコンパ
新語が追加されたmecab-ipadic-neologd辞書 - 自然言語処理 on Mac
日本語形態素解析エンジンMeCabで標準的に使われているIPA辞書に新語を追加したmecab-ipadic-neologdが公開されました： [O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました これまでもWikipediaやはてなキーワードからとりだした単語をMeCabの辞書に登録する取り組みはいろいろとありました： livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク MeCabの辞書にはてなキーワードを追加しよう - 不可視点 最近のJUMANの辞書にもWikipediaやWebからとられた単語が登録されています： JUMAN - KUROHASHI-KAWAHARA LAB mecab-ipadic-neologdは新語データを定期的に更新して改善を続ける予定ということで
mecab-ipadic-neologdをigo-pythonで使う
mecab-ipadic-neologをigo-pythonで試してみました。特に何も気にせず使えそうです。 [hideaki@archbox mecab-ipadic-neologd]$ ./bin/install-mecab-ipadic-neologd [install-mecab-ipadic-neologd] : Start.. ... ... [install-mecab-ipadic-neologd] : Do you want to install mecab-ipadic-neologd? Type yes or no. no [install-mecab-ipadic-neologd] : Quit from installing process [install-mecab-ipadic-neologd] : Finish.. [hideaki@archbox mec
mecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる - CLOVER🍀
注意） このエントリでは、mecab-ipadic-neologdをLucene Kuromojiに適用するにあたり、2つほど問題が発生したのですが、作者の@overlastさんにそのうちのひとつを対応いただきました。 修正版mecab-ipadic-neologdを使ってLucene Kuromojiに適用するエントリは、以下を見るようにしてください。 修正されたmecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる http://d.hatena.ne.jp/Kazuhira/20150316/1426520209 こちらのエントリは、備忘録的に残っているだけです。 以降は、それを踏まえた上で読まれますよう。とりあえずLucene Kuromojiに適用したい場合は、上記のエントリをご覧ください。 先日、ちょっと気になるエントリが世の中に出ていま
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
IPA、NAIST、UniDic、JUMANの辞書実演比較（Mecab）
以下のフォームに文章を入力して「解析」ボタンを押下すると、チェックした辞書を使用したMeCabの解析結果が表示されます。 実行回数は1つのIPアドレスに付き1日30回に制限させて頂いております。また解析する文字列の長さの上限は512文字です。すいません、レン鯖なので無茶はできんとです。あと、Firefox3.5,Chrome3,IE8で動作を確認しています。古典的ブラウザでは動作しないかもしれません。 MeCab0.98を使用しています。解析を実行した文字列については一切のログを取っていませんので安心してお使いください。 IPA (mecab-ipadic2.7.0-20070801) NAIST (mecab-naist-jdic-0.6.1-20090630) UniDic現代語版 (unidic-mecab-1.3.12) UniDic近代文語版 (UniDic-MLJ-mecab_
MeCab 2ch語辞書 - NeverBlog::Likk::Unexistable;
2chdic.070813.zip 83's : MeCab用、2ちゃんねる辞書からお借りしたMeCab用2ch語辞書が自分の使っているmecab version 0.95 に対応してなかったので、色々修正。 コストもほんの少しだけ頑張ってみたけど、面倒なんで大部分がお借り元と一緒の3206です。暇を見てちゃんとコスト考えようかね。 自分で何か付け加えたりとかはしていないので、最近の2ch語にも対応しておりません。 左・右接続IDはデフォルトのIPA辞書の品詞・形態を元にしました。というか、デフォルトの辞書も左右のID一緒問題ないのかな。 辞書の追加の仕方は 本家を参照してください。 糞スレ立てんな、ヴォケが 糞スレ 名詞,一般,*,*,*,*,糞スレ,クソスレ,クソスレ 立てん 動詞,自立,*,*,一段,体言接続特殊,立てる,タテン,タテン な 助詞,終助詞,*,*,*,*,な,ナ,ナ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/neologd/mecab-unidic-neologd/blob/master/README.ja.md
GitHub - neologd/mecab-unidic-neologd: Neologism dictionary based on the language resources on the Web for mecab-unidic
MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
