[B! mecab] mrknのブックマーク

日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ

こんにちは、買物情報事業部の荒引 (@a_bicky) です。前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。なお、MeCab は汎用テキスト変換ツールとしても使用できますが、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。アジェンダ形態素解析とは MeCab における最適な解析結果の推

mrkn 2016/05/11

すごい、力作だ。

mecab
nlp

リンク

形態素解析エンジンMeCabにて文章中から短歌を抽出 - inaniwa3's blog

概要偶然５７５７７になっている文章を短歌としてつぶやく Twitter の bot を作りました。フクロウが鳴くと明日は晴れるので洗濯物を干せという意味 #tanka ウィキペディア日本語版「フクロウ」より http://t.co/Dm1uHcQdzR— 偶然短歌bot (@g57577) 2014, 12月 31 再帰的アルゴリズムが有効な問題として有名であり #tanka ウィキペディア日本語版「ハノイの塔」より http://t.co/vm2ZqwImKi— 偶然短歌bot (@g57577) 2014, 12月 31 文章はウィキペディア日本語版を対象としました。作り方 jawiki-latest-pages-articles.xml.bz2 をダウンロード。 WP2TXT で上記を扱いやすい形式に変換。このスクリプトで５７５７７になっている文を抽出。数時間かけて（遅い）

mrkn 2015/01/19

美しい記事だ

nlp
mecab

リンク

NAIST Japanese Dictionary Wiki - NAIST Japanese Dictionary - OSDN

最近の更新 (Recent Changes)2008-03-09FrontPage 最新リリース情報naist-jdic (for ChaSen) (NAIST-jdic-0.4.3)2008-07-07 14:48naist-jdic (for MeCab) (mecab-naist-jdic-0.6.3b-20111013)2011-10-13 17:31naist-jdic with "ChaSen for Windows" (ChaSen-2.4.2-1-NAIST-jdic-sjis-0.3.0)2008-03-09 10:52 Wikiガイド(Guide)Wikiの文法リンクの種類と文法ブロックプロセッサ拡張文法サイドバープロジェクトWikiでの広告設定サイドバー (Side Bar)このサイドバーについてこのサイドバーの編集 NAIST-jd

mrkn 2014/01/28

リンク

きまぐれ日記: MeCabがiPhone,OSXに載っていると言うのは止めようと思う

iPhoneのSDKの条項に変更が加わり、Flashのクロスコンパイルを含む純正開発ツール以外で作成されたバイナリの配布が禁止となるようです。世間でも散々言われていますが、この変更は正直とても残念です。 Apple的には「製品のクオリティーが保てないから」という理由だそうですが、 Windows版iTunesが意味もなくQuickTime入れたり、Windows非標準のUIを使いまくっていて、お世辞にもクオリティーが高いとは言えないのを棚にあげて、クオリティー云々と言い訳できるのでしょうか。アプリなんて所詮玉石混淆。決めるのはユーザです。 MeCabは以前GPL/LGPLでした。Appleを含む複数の方からこのライセンスでは使いにくいと言う指摘をうけ、前職の同僚と協議をしながらBSD/LGPL/GPL のトリプルライセンスにしたという経緯があります。結果としてこの変更はうまく

mrkn 2010/04/22

iPhone や iPad が "自由なコンピュータである事" が当たり前だと思っていた僕らの考え方が間違ってる可能性はないのかな。僕たちはテレビやゲーム機が自由じゃなくても文句言わないよね？なぜ iPhone や iPad だけ？

apple
mecab

リンク

分かち書きとマルコフ連鎖でカオスな文章を生成するまで | oitake blog

一定期間更新がないため広告を表示しています

mrkn 2009/04/06

リンク

大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe

第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう．なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク