手軽に関連語を取得するモジュール - download_takeshi’s diary
１つ前のエントリで「特徴語を抽出するモジュール」のことを書いたらそこそこ好評だったみたいなので、調子に乗ってもう1本モジュールを紹介しておきます。 Lingua::JA::Expand - word expander by associatives http://search.cpan.org/~miki/Lingua-JA-Expand/ Expandってあたり、命名センスないのがバレバレですが、、 これは何をするものかと言うと、任意のキーワードを適当な数の関連語セットに膨らませてくれるモジュールです。 使い方と結果サンプル 使い方はこうです。 use strict; use Lingua::JA::Expand; my $str = 'ラーメン'; my $exp = Lingua::JA::Expand->new; my $result = $exp->expand($str); #
手軽にTF/IDFを計算するモジュール - download_takeshi’s diary
情報検索の分野でよく使われるアルゴリズムで「TF/IDF」というものがあります。 ドキュメントの中から「特徴語」を抽出する、といったような用途でよく使われています。 TF/IDFアルゴリズムのくわしい解説はこことかここを見てください。 今回はこのTF/IDFの計算を「簡単」に実現するためのperlモジュールをCPANに上げましたので、ご紹介します。なまえはLingua::JA::TFIDFといいます。 Lingua::JA::TFIDF - TF/IDF calculator based on MeCab. http://search.cpan.org/~miki/Lingua-JA-TFIDF TF/IDF実装の困りどころ TF/IDFの実装を試みた方であればわかると思うのですが、実際にやろうとすると、TF（Term Frequency）の計算はなんら難しくありませんが、IDF（Inve
株式会社プリファードインフラストラクチャー: Preferred Infrastructure、関連文書レコメンダ『Hotate』を朝日新聞社の総合情報サイト「asahi.com」に導入
関係者各位 プレスリリース 2008年6月9日 株式会社 Preferred Infrastructure ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ Preferred Infrastructure、関連文書レコメンダ『Hotate』を 朝日新聞社の総合情報サイト「asahi.com」に導入 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 株式会社Preferred Infrastructure（本社：東京都文京区、代表：西川徹）は、朝日新聞社（本社：東京都中央区、代表取締役社長：秋山耿太郎）の総合情報サイト「asahi.com」に、関連記事を自動抽出するエンジン「Hotate」を導入した。 Preferred Infrastructureでは、キーワード抽出技術と高速な文書検索技術を利用した関連文書推薦エンジンを開
YappoLogs: Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出
Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出 なんとなくPlaggerドリブンで日本語の文章の中から特徴的な文節を抽出するモジュールを書きました。 具体的にはGetSenというWebサービスをCPANモジュールで使いたかったという感じです。 CPANに上げてあります。 Lingua::JA::Summarize::Extract 簡単な使い方は use strict; use warnings; use utf8; use Lingua::JA::Summarize::Extract; my $extracter = Lingua::JA::Summarize::Extract-&gr;new; my $text = "日本語の文章を沢山書きます"; my $result = $extracter-&gr;extract($text); my $
ブログの記事本文を抽出するAPI: TSUBUAN
KOSHIANに続いてTSUBUANをつくりました。 URLを与えるとそのページに含まれる本文らしき文章をXMLで返すAPIです。 RESTで引数はurlしかありませんが、一応仕様はこちらに。 http://zuzara.dyndns.org/docs/contentextractionapi.html サンプルレスポンス： http://zuzara.dyndns.org/api/tsubuan?url=http://blog.zuzara.com/2006/12/12/173/ アルゴリズムは以前作ったスクリプトの改良、といった感じです。精度をちゃんと数字にしていませんが、汎用的にどんなブログでも取得できるようになったと思います。必ずしもブログのみが対象ではなく、言語による依存もありません。精度実験では中国語のブログも対象にしてみました。 以前あった、ceekzさんのアイディアも使わせ
GENE95 Dictionary
GENE95 辞書 このページでは、Kurumi さんが作成された辞書データを、作者の許可を得て再配布しています。 gene95.lzh (LHA圧縮形式) gene95.tar.gz (tar+gzip圧縮形式) gene95.tar.bz2 (tar+bzip2圧縮形式) Kurumi さんの連絡先についての問い合わせを頻繁に受けますが、 私(土屋)も現時点での連絡先は分かりません。 私が再配布の許諾を受けた1998年当時は、Nifty のアドレスで連絡が可能でした。 以下は、KurumiさんによるGENE辞書の解説です。 ************************************************************************** ** ** ** GENE95辞書について ** ** By Kurumi (GGD00145) ** ******
KANOU.JP: C# と WEB サービスを使って翻訳ソフトを作ってみる
C# と WEB サービスを使って翻訳ソフトを作ってみる WEB サービスというと、XML だとか SOAP だとか WSDL だとか UDDI だとか、そういった象徴的な言葉だけが先行しているせいもあって、なんだか難しいものだなと思っている人が多いようです。 でも、WEB サービス・クライアントとしてちょいと使うだけなら、そんなに難しくはありません。むしろ、Visual Studio .NET などの強力な開発環境があれば、細かい点なんてほとんど考えずに簡単に使えます。 その実例ということで、 以前に Passion For The Future で紹介されていた WEB サービスを使って翻訳（英日）ソフトを作ってみます。 [C# と WEB サービスを使って翻訳ソフトを作る] とりあえず、Visual Studio .NET を起動します。 今回は C# を使った Windows アプ
Expired
Expired：掲載期限切れです この記事は，ロイター・ジャパンとの契約の掲載期限（30日間）を過ぎましたので本サーバから削除しました。 このページは20秒後にNews トップページに自動的に切り替わります。
世界初の言語解析エンジン、単語の意味も解析可能 － ＠IT
Sematicsは6月15日、独自の日本語解析エンジン「Perceptrons Engine」（パーセプトロンエンジン）を開発したと発表した。アプリケーション・ソフトウェアに組み込んで使用する。応用例としては、多言語変換やデータ・マイニングなど。年内には英語版エンジンの開発も予定している。同社 代表取締役 吹谷和雄氏によると、「英語版の市場規模は日本語版よりも巨大」だとし、米国市場に参入を開始する3期（2007年度）には40億円強、4期（2008年度）には120億円の売上げを見込んでいる。 従来の日本語解析エンジンは、辞書を作成し、解析時はその巨大な辞書データを検索するなど、パフォーマンス面で大きな課題を持っていた。また、解析のためのアプローチは統計的（確率モデル）技術が主流だったが、この技術の欠点は、「文脈解析」や「意味解析」といった、文章構造のより高度な解析結果が曖昧だという点にあった
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Traiss : Traiss は英語サイトの RSS 翻訳を支援するソフトウェアです