[B! nlp] tsimoのブックマーク

GSK2008-B 京都大学格フレーム(Ver 1.0)

GSK会員限定無料配布言語資源。会員は、年度中、会員限定無料配布言語資源の利用が一件目の場合に限り無料（ただし、送料は着払い）。年度中、会員限定無料配布言語資源の利用が二件目以上にあたる会員は、5,250円（税込み、送料別）。非会員には配布しない。公開が年度末であるため、2008年度のGSK会員の無料配布分としての利用申請を2009年4月30日まで受け付ける。

tsimo 2009/07/27

nlp

リンク

MeCabの辞書にはてなキーワードを追加しよう - 不可視点

MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解

tsimo 2009/06/05

リンク

All Our N-gram are Belong to You

Posted by Alex Franz and Thorsten Brants, Google Machine Translation Team Here at Google Research we have been using word n-gram models for a variety of R&D projects, such as statistical machine translation, speech recognition, spelling correction, entity detection, information extraction, and others. While such models have usually been estimated from training corpora containing at most a few bill

tsimo 2008/09/03

google
nlp

リンク

ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」

ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、まず形態素解析というのをやって、文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析 Webサービス」[2007-06-18-1] で試すことができ

tsimo 2008/08/22

リンク

大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe

第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう．なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク

tsimo 2008/02/15

リンク

Evi - an Amazon Company

Evi, an Amazon company, was founded in 2005 under the name True Knowledge. The team started out with a mission to make it possible to access the world's knowledge simply by asking for information using natural language. Today, Evi is an integral part of Amazon Alexa. We’re part of the Amazon Alexa team based in Amazon's innovative Cambridge Development Centre, alongside other Amazon teams includin