windows ActivePerlでyahoo 日本語形態素解析APIを使ってみる - WEBデザイン BLOG
Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 APIをwindows ActivePerlで使ってみました。忘れないようにコードを書いておきます。 windows環境でActivePerlを使ってYahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析APIを試してみました。おーまたちょっと進歩、アイデアを形にすることに近づけるかなぁーと。忘れないようにコード書いておきます。 linuxとwindowsでは、コードの書き方もちょっと異なってくるのでそこら辺が理解できなかったのですが、最近ようやく慣れてきた（パターンがわかってきた）ような気がします。 コード #!/usr/bin/perl use strict; use Encode; use LWP::Simple; use XML::Simple; use URI::Escape; m
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析Webサービス」[2007-06-18-1] で試すことができ
Yahoo!日本語形態素解析APIをコマンドラインから使うサンプルプログラム
Yahoo!日本語形態素解析APIをコマンドラインから使うサンプルプログラム 2008-04-05-5 [Programming][NLP] とある経緯で、Yahoo!日本語形態素解析API[2007-06-18-1]を使った Perl のサンプルプログラムを作りました。 車輪の再発明的ですが（だれか作ってた気がする）気にしない！ - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html 以下コードです： #!/usr/bin/perl use strict; use warnings; use Encode; use URI::Escape; use LWP::Simple; use XML::Simple; use Getopt::Long; use
Yahoo! JAPAN の「日本語形態素解析Webサービス」を使うモジュールを作り始めた - woremacxの日記
Yahoo! JAPAN の「日本語形態素解析Webサービス」を使うモジュールを作り始めて、coderepos にうｐらせていただいたよ！この子は、ヴァギナ(#vagina@irc.woremacx.com)から生まれた子供だよ。tomyhero さんとの会話の中でサービスを紹介してもらったのがきっかけで書き始めて、yusukebe さんに命名してもらったんだ。エラー処理を全くしてない子なので、これから書いていくよ！なにか気に入らない点があれば、coderepos の trunk に直接 commit していただけると助かります。WebService::YahooJP::TextParselib/WebService/YahooJP/TextParse.pmYahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 use strict; use warnings; us
専門用語（キーワード）自動抽出用Perlモジュール "TermExtract"の解説
はじめに テキストデータから、専門用語を取り出すためのPerlモジュール"TermExtract"を解 説します。 日本語の文章中から単語を切り出す定番のソフトとして、「茶筅」や「案山子」があ りますが、そのまま専門用語の抽出に使うには次の２つの問題があります。 ひとつは、複合語に対応していないことです。専門用語の多くは単語を組み合わせて、 複雑な概念を表すことが多くなります。特に「茶筅」の場合は単語を品詞単位で細かく 分割するため、そのまま使うには難があります。 もうひとつは、どの用語が重要であるか判断する仕組みを持たないことです。 その問題点を解決したソフトに東京大学・中川裕志教授、横浜国立大学・ 森辰則助教授が作成した「専門用語自動抽出システム」があります。 それは、１）「茶筅」の形態素解析結果を複合語に組み立て、２）その複合語（単語の場 合もある）を重要度の高い順に返すものです。
Yahoo! 日本語形態素解析サービスを使うスクリプト - Vox
18日に、Yahooが日本語形態素解析Webサービスを公開しました。 同APIを使うと、解析対象の日本語文を形態素に分割し、品詞名や読み、基本形、形態素の総数、各形態素の出現回数を返す。対象の文章がどんな特徴的な単語で構成されているのかを把握でき、検索APIと組み合わせればブログの類似記事検索なども可能になるとしている。 ITmedia News：Yahoo！の日本語形態素解析エンジンAPIを公開 ためしに、軽くPerlから呼び出して、結果をCSV形式で保存してくれるスクリプトを書いてみます。各種コードから使うのであれば、DOM操作などもできるXML形式のレスポンスのままでいいのだけど、人間が見てどういうサービスかとか、使えそうかとか考えるにはCSVが便利。 use File::Slurp; use Jcode; use URI; use WWW::Mechanize; use XM
実は勉強になるルー語
先月はルー語の月でした・・・ フィードバックを読んだり、プログラムを改良したり、電車の中では変換後の文章の校正して時間をつぶしたり。振り返ってみると、ルー語変換プログラムを通して実はいろいろ学習しました。 英語 むずしすぎる単語を排除するため、「中学校卒業程度」の単語にしぼりこみたかったのですが、それがだいたい2000語であるということ・頻出単語は幾つかのデータがあるということをこのへんで知る。最終的にはここで紹介されているデータと、実際の中学校の単語ドリル、あとルーさんブログをコーパスにして単語を絞込み。その2000弱の単語には何回か目を通したのでだいたい覚えた。 国語 連体詞って何だっけ？とか、あと活用形。五段活用とか、下一段活用とか、久しぶりに調べたですョ。「い・い・いる・いる・いれ・いろ」「ない よう う・ます た て・から と・とき こと・ば・！」とかそのあたり。 テストスクリプ
キーワード抽出モジュール Lingua::JA::Summarize を使うコツ (nakatani @ cybozu labs)
いわゆる「Web2.0」っぽい要素である「タグ」。 一般にはタグ付けは手動で行うわけですが、自然言語テキストへのタグ付け(キーワード抽出)を自動で行うことができれば、あれこれと可能性が広がって楽しそう……しかし、それは実現が難しかったり高コストだったりして、簡単に手を出せる解はあまりありません。 ラボの奥さんの作成したキーワード抽出モジュール Lingua::JA::Summarize は次の特徴を持っています。 動作要件の敷居が低い 辞書のメンテナンスをしなくても、未知語や熟語もある程度抽出してくれる 希望の結果に近づけるためのチューニングが可能 本モジュールを使って、サイボウズ・ラボ内での情報交換を行っている社内掲示板をスレッド単位で解析しているのですが、辞書を一切チューニングしていない状態でも「しょこたん☆ぶろぐ」や「猫かぶり隊隊員ニャンコ達」などの特徴的なキーワードが抽出されます（
どんなページもルー大柴ナイズ
来月仕事で海外に行くことになりそうなので、買っただけで読んでなかった カタカナ英語の本 を取り出して読んでたのですが、TV 付けて酒飲みながらじゃあ勉強にならない。カタカナ英語といえば ルー大柴 だよなあ、と脱線しはじめる。 「ディスイヤーは私にとって再チャレンジのファンデーション作りのイヤーだった」（原文） ↓ 翻訳すると「今年は私にとって再挑戦の基礎作りの年だった」 ということは何か普通の文章をルー化するスクリプトをすぐ書けそうな予感。ルーさんが使いそうな単語を片っ端からマップにしてもいいけど、それはめんどい。それより、文章を形態素解析 → 単語を英訳 → 英語をカタカナ読みに翻訳 → というようにすれば楽に書けるんじゃないか？と発展。 形態素解析は MeCab でいいよね 単語の和英は、Excite みたいなネットを介すやつだと遅いので、フリーの英和辞書を探す。EDICT proje
YappoLogs: Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出
Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出 なんとなくPlaggerドリブンで日本語の文章の中から特徴的な文節を抽出するモジュールを書きました。 具体的にはGetSenというWebサービスをCPANモジュールで使いたかったという感じです。 CPANに上げてあります。 Lingua::JA::Summarize::Extract 簡単な使い方は use strict; use warnings; use utf8; use Lingua::JA::Summarize::Extract; my $extracter = Lingua::JA::Summarize::Extract-&gr;new; my $text = "日本語の文章を沢山書きます"; my $result = $extracter-&gr;extract($text); my $
[を] Text::MeCabは導入が楽
Text::MeCabは導入が楽 2006-09-24-3 [Programming][NLP] Text::MeCabはCPANに登録されているMeCabのPerlモジュール。 - Daisuke Maki / Text-MeCab-0.13 - search.cpan.org http://search.cpan.org/~dmaki/Text-MeCab-0.13/ - きまぐれ日記: Text::MeCab が公開された http://chasen.org/~taku/blog/archives/2006/05/textmecab.html MeCab.pm [2006-02-25-4]よりもこっちの方がインストールが 手軽そうなので、サンプルプログラムに使おうかと。 インストール方法： MaCab本体は事前にインストールしてあると仮定。 (取得はこちらから→
Text::MeCabの処理時間 - ぞえ の戯れ言
Text::MeCabでのわかち書き処理が遅い件について、記録を取っていなかったので再度処理時間を計り直しました。 用意した文章は次のものをUTF-8に変換したものです。 実際に来た迷惑メール(1767バイト) 青空文庫より『瓶詰地獄』（夢野 久作著）(25496バイト) 青空文庫より『黒死館殺人事件』（小栗 虫太郎著）(1039324バイト) MeCab $ time mecab -Owakati < ~/spam-utf8.txt > /dev/null real 0m0.009s user 0m0.004s sys 0m0.004s $ time mecab -Owakati < ~/binzume_jigoku.txt > /dev/null real 0m0.045s user 0m0.032s sys 0m0.012s $ time mecab -Owakati < ~/kok
[を] キーワード抽出モジュール Lingua-JA-Summarize
キーワード抽出モジュール Lingua-JA-Summarize 2006-04-26-2 [Programming][NLP] Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた http://labs.cybozu.co.jp/blog/kazuho/archives/2006/04/summarize.php サイボウズラボの奥一穂さんによるキーワード抽出を行うPerlモジュール。 形態素辞書にある単語コスト（解析に使用するやつ）を TF-IDF っぽく使っ てキーワード抽出する手法。手軽にさくっと使えて非常に良い感じです！ これを使っていろいろアサマシいことなどもやってみようかと思います！ 以下、コピペしたら動くサンプルです。threshold がデフォルトのまま の値だとキーワードが抽出されないことがあるので、1 にしています。 #!/
Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた
« IIS のログを tail -f | メイン | Lingua::JA::Summarize 0.02 » 2006年04月26日 キーワード抽出モジュールを作ってみた 一昨日、同僚の竹迫さんに、文書内からのキーワード抽出技術について教えてもらっていた時、わざわざ TF-IDF注1 用に別のコーパスを用意しなくても、MeCab だったら生起コストを辞書内に持っているんだから、それを使えばいいのではないか、という話になりました。 竹迫さんがその日のうちに作ってくれたプロトタイプで、アルゴリズムの改善とパラメータのチューニングを行ったところ、十分な品質が出そうなので、書き直して公開することにしました。 普通の Perl モジュールなので、 perl Makefile.PL && make && make install すれば使うことができます (15:50追記: すみません。 MeCab
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
perlで形態素解析を行いたいと思っています。形態素解析のモジュールをGETできるURLとか、形態素解析のプログラム紹介などのページを教えてください。
はてなブログ
http://chasen.org/~taku/blog/archives/2006/05/textmecab.html
Lingua-JA-Romanize-Japanese-0.23 - Romanization of Japanese language with JUMAN - metacpan.org
Lingua-JA-Summarize-0.08 - A keyword extractor / summary generator - metacpan.org
MeCab - HTML::TagCloud