Apache Mahout 機械学習Libraryを使って「魔法少女まどか☆マギカ」の台詞をテキストマイニングしてみた - Y's note
Mahout in Action 作者: Sean Owen,Robin Anil,Ted Dunning,Ellen Friedman出版社/メーカー: Manning Pubns Co発売日: 2011/10/28メディア: ペーパーバック購入: 4人 クリック: 81回この商品を含むブログ (10件) を見る Index Information & Links Apache Mahout Abouc Apache Mahout Mahout has machine learning libraries Mahout Download / Setting Madmagi Words Scraping Word MA Mecab MA HDFS PUT Clustering Theory TF/IDF K-Means Canopy Clustering Word Vector Clust
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
日本語係り受け解析器 CaboCha Ruby 拡張の基本的な使い方とちょっとした応用 - デー
ari3_botの会話エンジンで使っている自然言語の処理の中から他の方にも有益そうなところだけ書いておこうと思います。 このエンジン自体はアドホックにヒーリスティクスな処理を追加しまくっていて、とても説明しにくいのですが、基本的な部分だけ抜き出して……まとめて……解説します。全部実装できるほど詳細な解説はできないので、取っ掛かりになる程度です。 ちなみにCaboChaのAPIはきちんとしたドキュメントがない？ようで、僕はソースコードを自分で読んで得た知識から解説を行っています。また日本語文法関する知識もari3_botを作るためだけに得たものであり、あやしいので、あまり信じすぎないようにしてください。 もくじです。 ari3_botの会話エンジンとは CaboChaの基本的な使い方 CaboChaで主語と述語っぽいところを抜き出す 述語を活用してみる その他のいろいろなヒント まとめ ar
twitterで自然言語処理 - Preferred Networks Research & Development
勢い余ってスイカを買ったら、毎日食べるハメになってしまいました。海野です。 どんな業界もそうだと思いますが、世の中の流行りものの論文が増えるという面が自然言語処理界隈にもあります。Web、blog、と来て、最近のトレンドはやはりtwitterに代表されるmicro blogでしょうか。今年の言語処理学会の年次大会でtwitterセッションは大盛況でしたが、国際会議でもtwitterを題材として発表が増えています。 数えてみたら、重要国際会議であるACLで6件、EMNLPでも3件、twitterをタイトルに含む発表が今年ありました。ちなみに2010年の会議では1件もありませんでした。そんなわけで、私も今日はそんな流行りに乗っかって、twitter言語処理関連の論文を3つ紹介します。 Cooooooooooooooollllllllllllll!!!!!!!!!!!!!! UsingWord
自然言語処理にはやっぱりPythonがいちばん - nokunoの日記
Quoraで「自然言語処理に適したプログラミング言語はどれか？」という質問をしたところ，やっぱりPythonが一番人気のようです．What programming language is suitable for natural language processing? - Quora理由として以下が挙げられていますNLTKがあるから正規表現ライブラリ（re）が強力だからnumpyとscipyがあるから スクレイピングにBeautifulSoupやScrape.pyが使えるから Django / Pylons / TornadoのようなWebフレームワークがあるから また，機械学習のライブラリを言語別にまとめた質問もありました．こちらもJava, Python, Rが多いですね．Which programming language has the best repository of ma
商品レビューからやらせを探すソフトウェア、その正確性なんと90％！
ネットショッピングで参考になるのはやはりレビュー。 現物を見る事ができないオンラインショッピングなので、レビュー読んで参考にするってことありますよね。ホテルやレストランもそうです。が、そのレビューがやらせだとしたら？ 嘘八百並べたものだとしたら？ 八百長だとしたら？ こんないい事書いてるなんて嘘に違いない！ いや待てよ、こんな悪い事書いてるなんてもしかしたらライバル業者からの潰しかもしれない。...確実に存在するやらせレビュー、しかしどれがそうなのかを判断するのは難しいですよね。疑い始めると何もかも怪しく思えてきます。 そこで、アイビー・リーグの研究者がやらせレビューを判断するアルゴリズムを開発しました。研究チームは、とあるシカゴのホテルのやらせレビュー400件と本物レビュー400件からやらせレビューでの言葉や文脈のパターンを分析。その結果、やらせレビューはその内容が広く大雑把なのに対して
2011-05-29 - あんちべ！
テキストマイニング、自然言語処理をしたいという強い思いから転職活動をした…ら失敗しました。以下、転職（失敗）活動経緯をまとめます。また、今回作成した履歴書と職務経歴書を公開致します。私自身初めての転職活動であり、職務経歴書を書いた経験が無いため苦労しました。拙いものですが、何かご参考になるようでしたら幸いです。履歴書 職務経歴書 ・2009年入社前後経済学科でテキストマイニングや社会ネットワーク理論などを研究し、コミュニケーション活性化などに興味を持つ。それを活かしてSNS系のベンチャー行くか大企業行くか迷うが、ベンチャーは実力さえあれば今でなくても行ける、大企業は新卒のレールに乗らないとまず入れない。大企業特有の「大規模な資金・頭数を、牛のような腰の重さでマネジメント」する機会は新卒の今しかないと思い、最初は大企業で学ぼうと現職を選択。 ・2010年不自然言語処理コンテストに出たり、no
TechCrunch
A security researcher says a bug on an Indian state government website inadvertently revealed documents containing residents’ Aadhaar numbers, identity cards, and copies of their fingerprints. T The European Union announced today it is opening an investigation into X for allegedly spreading illegal content and disinformation, including terrorist and violent content and hate speech. This comes
第1回にこにこテキストマイニング勉強会に参加しました #nicotextmining - nokunoの日記
というわけで参加してきました。第1回 にこにこテキストマイニング勉強会 : ATND 目的テキストマイニングについての学習のスタートアップテキストマイニング技術に関して気軽に参加・議論することができる場の提供 概要テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、大量のアンケートテキストを分析するために用いられる技術であり、特にマーケティングの場で多くの利用例があります。この勉強会ではそうしたテキストマイニングを題材とし、用いられている要素技術とそれに関わる課題の議論、またテキストマイニングを実務に活かす方法について考えていきます。 会場のオラクルセミナールームでは隣でPythonハッカソンが行われており、そちらにも知り合いがいたり飲み物が無料だったりして居心地の良い場所が形成されていました（入るまでが大変でしたが‥）。Python Hack-a-thon 201
コンピュータ対人間のクイズ対決、1回戦は同点
IBMのコンピュータ「Watson」とクイズチャンピオンが人気クイズ番組「Jeopardy!」で対決。初日は同点で終わった。 米IBMのコンピュータ「Watson」と人間のクイズ対決が始まった。3日にわたる対戦の初戦は同点に終わった。 Watsonは2月14日、人気クイズ番組「Jeopardy!」でクイズ王ブラッド・ラッター氏、ケン・ジェニングス氏と対戦した。1日目の成績はWatsonとラッター氏がそれぞれ5000ドル獲得、ジェニングス氏が2000ドルだった。Watsonはビートルズの曲や文学作品の登場人物などに関する質問に答えたが、Olympic Oddities（オリンピックに関する変わった出来事）の分野ではうまく答えられなかったという。 Watsonは、IBM創設者トーマス・J・ワトソン氏にちなんで命名されたコンピュータ。「迅速かつ正確に自然言語での質問に正解する」という人間の能力に
日本語ウェブコーパス 2010
概要 本コーパスの HTML アーカイブは，ipadic-2.7.0 の見出し語をシードとして，かつての Yahoo! Web API による検索結果に含まれるウェブページを収集したものです．テキストの抽出においては，文字コードを UTF-8 に統一した後，いくつかの記号をデリミタとして文への分割をおこない，さらに文を構成する文字の種類や数によるフィルタリングを施しています．N-gram コーパスについては，テキストアーカイブに出現する頻度 10 以上の N-gram を収録しています． 本コーパスの英語名称は Nihongo Web Corpusn 2010 (NWC 2010) です． 謝辞 本コーパスの作成においては，様々なウェブサービス，ツール，コーパスを利用させていただきました．開発者・研究者の皆様に感謝いたします． コーパスの作成・保存・配布には Amazon Web Serv
TAGGY、単語の意味変換エンジンで特許--オプトの「Xrost」に導入
TAGGYは1月24日、同社が開発したセマンティック変換技術「おもてなしエンジン」の特許を取得したと発表した。 おもてなしエンジンは、ウェブページ上の文章の内容を解析し、その内容を「趣意」を表す単語に変換する技術。たとえば、文章中に「彼氏」「ドライブ」といった単語が含まれていれば、これらの単語の関連から「デート」という本質的な内容を導き出すのだという。 おもてなしエンジンの利用によって、キーワードマッチングの手法が大きく変わるとTAGGY代表取締役社長の石上裕氏は説明する。これまでのキーワードマッチングと言えば、ウェブページ上の文章から重要度のある単語を解析し、その単語にマッチした広告やコンテンツを表示するのが一般的。しかしこのエンジンを使えば、直接的に単語でマッチさせるのではなく、ユーザーが潜在的に興味を持つ単語に関する広告などを表示できるようになるという。「ターゲティングデータのオプテ
ラノベ『俺の妹には友達が少ない』が出版中止
ラノベ『俺の妹には友達が少ない』が出版中止 これは嘘ニュースです 出版業界中堅の青空出版社（板橋区）がライトノベル（ラノベ）を対象に募集した「星雲Ｊ新人賞」で、大賞を受賞した作品がコンピューターのプログラムによって自動で書かれたものであったことを、２３日の授賞式で作者自らが暴露する出来事があった。これを受け、青空出版社はまもなく受賞取り消しと出版の中止を発表したが、昨今のラノベ事情を知る人々からは、起こるべくして起こったとの声もある。 青空出版社は昨年、ライトノベル専門レーベル「星雲Ｊ文庫」の創刊を発表。同時に文庫に収録する作品を「星雲Ｊ新人賞」として募集した。長らく学術書専門の老舗（しにせ）として知られてきた同社だけに、新規分野開拓の試みとして業界で注目を浴びていた。 そして昨年１１月、「第１回星雲Ｊ新人賞」として陸空海（りく・うつみ）さん（２４）の『俺の妹には友達が少ない』が大賞を受賞
ギレンも登場！BM25なPerlモジュール書いたよ - download_takeshi’s diary
久しぶりに何か書きます。 情報検索のアルゴリズムで「BM25」というものがあります。 何年か前に某研究所に遊びに行ったときに「TF/IDFより精度のいいやつ」みたいな感じでかなりアバウトに教えてもらいました。 その時は「名前だけでも覚えて帰ろう」と思っていたのですが、帰りに安い居酒屋で大酒をのみ、電車のなかで騒いでしまうほど酔っ払ってすっかりその名前を忘れてしまってました。（なにやってんだか・・・） で、最近Web+DB pressをパラパラ見ていたらBM25の名前を発見！ああ、これだこれだ、思い出したよ！ というわけで、重い腰を上げてモジュール化してみました。 githubに上げてあります。 Lingua::JA::OkapiBM25 http://github.com/miki/Lingua-JA-OkapiBM25 そのうちCPANからも落とせるようになります。 正式名称は「Okap
IBMのコンピュータ「Watson」、テレビでクイズ王と対決
IBMのコンピュータシステム「Watson」が、2月に人気クイズ番組「Jeopardy!」に出演。人間とクイズで戦う。 米IBMは12月14日、同社のコンピュータ「Watson」が人気クイズ番組「Jeopardy!」に出演し、クイズ王と対戦すると発表した。 番組は2011年2月14～16日にわたって放送され、WatsonはJeopardy!のチャンピオン、ケン・ジェニングス氏とブラッド・ラッター氏と戦う。 Watsonは、IBM創設者トーマス・J・ワトソン氏にちなんで命名されたコンピュータ。「迅速かつ正確に自然言語での質問に正解する」という人間の能力に対抗することを目指して開発された。既にJeopardy!の元チャンピオンと50を超える「スパーリング」を行い、また同番組の参加希望者が受けるのと同じテストに合格している。 IBMは、Watsonは大量のデータを分析して正確か答えを返したり、そ
オープンソースのTrieライブラリまとめ - nokunoの日記
最近、趣味で開発しているStaKKのためにTrieライブラリを書いているのですが、参考にするためオープンソースのTrieライブラリについて調べました。簡潔データ構造を用いたものが中心です。 @hillbig氏によるもの tx LOUDSによる圧縮でメモリ使用量を削減したTrieライブラリ。 関連記事：Tx: Succinct Trie Data Structure Engineering the LOUDS Succinct Tree Representation - 射撃しつつ前転ux txの改良版。tailの圧縮によりtxの1/2くらいのサイズになるらしい。要チェック。 関連記事：ux... - ny23の日記id:s-yata 氏によるもの taiju LOUDSを含む簡潔データ構造を用いた大規模Trieライブラリ。sumire-triesインメモリの簡潔データ構造を実装した大規模T
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
形態素解析とWeb検索を組み合わせて日本語のクイズを解くプログラム「SeekAnser」NOT SUPPORTED
TechCrunch | Startup and Technology News
NL研 #signl200 まとめ(その２)
NLP関係のリソースまとめ - nokunoの日記