Python - Perl + Java = ？ はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなニュース
統計処理用のマシンを使って、自然言語処理で遊ぼう！ BTOパソコンで有名な「パソコン工房」から「統計処理用のPCを企画しているので、何かできないか」と相談された編集部は、はてなエンジニアと相談して「word2vec」を使って遊んでみることに。はてなブログのデータとかっこいいパソコンを使って、最新の自然言語処理で楽しむ様子をお楽しみください！ 記事の終わりには2TBの外付けHDDが当たるプレゼントのお知らせも。 （※この記事は株式会社ユニットコムによるPR記事です） ―― BTOパソコンのショップ／サイトで有名な「パソコン工房」さんから、以下のような依頼が来ました。 データサイエンティスト向けに、統計処理用に使えるパソコンをいろいろと考えています。なので、何か面白い処理に使って、PR記事にしてほしいんです！ ▽ 【パソコン工房公式サイト】BTOパソコン（PC）の通販 ―― ということで、はて
文書比較（diff）アルゴリズム
文書比較（diff）アルゴリズム 前のドキュメント 次のドキュメント ＶｉＶｉの文書比較（diff）機能で使用しているアルゴリズムについて解説する。 これらのアルゴリズムは Myers 氏らの論文によるもので、氏は筆者のためにわざわざ論文をＷｅｂサイトで入手可能な形式にしてくださった。この場を借りてお礼申し上げる。 オリジナル論文は以下のＷｅｂサイトから入手可能である。 http://www.cs.arizona.edu/people/gene [1] E.W.Myers, "An O(ND) Difference Algorithm and Its Variations", Algorithmica, 1 (1986), pp.251-266 [2] S. Wu, U. Manber, G. Myers and W. Miller, "An O(NP) Sequence Comparis
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析Webサービス」[2007-06-18-1] で試すことができ
”レンコン”は拳銃 総務省が犯罪検知ソフト開発へ - MSN産経ニュース
総務省がネット上の殺人予告や、隠語を使った拳銃取引など犯罪の情報を検知し、サイト運営企業へ自動的に知らせる新しいソフトウエアの開発に乗り出すことが２０日、分かった。サイト運営企業はネット上の有害情報対策を強化しているものの、監視人員の確保が困難な上、通常の検知ソフトでは、隠語のような特殊言語への対応は困難という。開発は平成２１年度から３年程度かけて取り組み、総事業費は十数億円規模を想定している。 開発するソフトは通常の言葉だけでなく、「レンコン＝拳銃」など、一般の閲覧者に内容を知られないように使用されている隠語などもデータベース化して盛り込む。また、「自然言語技術」と呼ばれる手法を使い、文章全体の構成から犯罪との関連性を推測する機能も備える。サイト上の情報を犯罪性有りと判断すれば、運営企業へ自動的に知らせ、サイト運営企業は内容を確認した上でその情報を削除する。 総務省は平成２１年度予算で、
連載：検索エンジンを作る｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog（ブログ）
こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日本語版の解説
某ミクをgoogleイメージ検索に表示させる条件について。 PE2HO
Author:Betelgeuse Amazon画像いじり、クレイモア(漫画)、アインハンダー(ゲーム)などについてだらだらと続けるブログ。 その他、タクティクスオウガネタ、動植物ネタ、時事ネタ、宮城県・仙台ネタなども扱います。 はてなアカウント、fc2のこのブログ、twitterでおもに活動しています。それ以外のbetelgeuseさん達は同名の別人。HUMANオス。 Amazon.co.jpアソシエイト カテゴリー 未分類 (15)リンクや感想など (4)Amazon (107)雑記 (154)クレイモア (41)はてな (4)インスタントストア (5)PHSなど (11)PSP(PlaystationPortable) (13)アインハンダー (48)ニコニコ動画・YouTube (126)動植物 (117)事件・事故・単語などのメモ (261)コミック・ライトノベル (35)ゲーム
辞書不要の形態素解析エンジン「マリモ」とは − ＠IT
2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の単位（形態素）に区切る処理。「今日は晴れています」なら、「今日（名詞）／は（助詞）／晴れ（動詞）／て（助詞）／い（助詞）／ます（助動詞）」と分ける。検索エンジンをはじめ、さまざまな自然言語処理の場面で必要となる基礎技術だ。 形態素解析を行うには、あらかじめ品詞情報が付加された数十万語からなる辞書を用意する必要がある。また、新語や造語、専門用語に対応するには、個別に人力で単語を登録する必要がある。
YappoLogs: Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出
Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出 なんとなくPlaggerドリブンで日本語の文章の中から特徴的な文節を抽出するモジュールを書きました。 具体的にはGetSenというWebサービスをCPANモジュールで使いたかったという感じです。 CPANに上げてあります。 Lingua::JA::Summarize::Extract 簡単な使い方は use strict; use warnings; use utf8; use Lingua::JA::Summarize::Extract; my $extracter = Lingua::JA::Summarize::Extract-&gr;new; my $text = "日本語の文章を沢山書きます"; my $result = $extracter-&gr;extract($text); my $
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
