1つの HTML ファイルだけで完結する校正支援ツールの作り方
こんにちは。LINEヤフー株式会社でテキストマイニングや自然言語処理などをやっている山下（ @yto ）です。 Yahoo!デベロッパーネットワークのテキスト解析 Web API が CORS（Cross-Origin Resource Sharing）対応したため、サーバがなくてもブラウザから直接 Web API にアクセスできるようになりました（参考）。 そのテキスト解析 Web API の機能の一つである「校正支援」は日本語文章の品質チェック（校正）を支援するもので、文字の入力ミス、言葉の誤用、わかりにくい表記、不適切な表現などが使われていないかをチェックして、指摘します（内部の辞書データをベースとしているため完全なものではないことをご承知おきください）。 この校正支援機能のサンプルプログラムとして「HTML ファイル1つだけで完結する校正支援ツール」を作ったので紹介します。入力され
自然言語処理の中長期研究構想を論じる会
情報処理学会の自然言語処理研究会（NL）では，研究成果の発表・議論が活発に行われています．今後の言語処理研究に革新をもたらすような優れた発表が沢山ありますが，個々の研究は大きなプロジェクトの一部となっていて，短時間での発表では研究の全体像が掴みづらいことがあります． そこで，第230回研究会は通常とは趣向を変え，「自然言語処理の中長期研究構想を論じる会」と題したシンポジウムとして企画します．本シンポジウムでは，科研，CREST，さきがけ等の国家研究予算，国内研究機関，企業の研究所等で中長期の自然言語処理関連プロジェクトを推進している研究者らに呼びかけ，研究構想や成果の大きな絵を語っていただき，言語処理が今後進むべき方向性について一段高い視点からの議論を狙います． なお，本シンポジウムはすべて招待講演とし，一般発表の募集はありません．また，動画配信も行いませんので，ぜひ会場までお越しください
ニルヴァーナベイビーの最近の様子、「◯時までに寝ないとキレる子になる」は医学的根拠なし、ヌーブラの進化、翔泳社のIT関連Kindle書籍4割引セール、など - W.O.H
2016年9月27日のヲハニュースをお届けします。 ニルヴァーナ『Nevermind』25周年記念、赤ちゃんの頃にアルバム・カヴァーに登場した25歳の青年が同カヴァーを再現 - amass 最近の様子。 記事中の2011年ってのは間違ってるかと。 2008年の様子↓ プールの中でお札をつかもうとしてる Nirvana Baby が成長してゲットマネーに再チャレンジ ９時に寝ないとキレる子になる？：朝日新聞デジタル 成長ホルモンの「ゴールデンタイム」は誤解から広まった情報。 「◯時までに寝かせないと体が弱い子になる」「キレる子になる」「背が伸びなくなる」は医学的根拠なし。 10代の女の子、赤ちゃんの頃の恥ずかしい写真をFacebookに公開した両親を訴える 子供の気持ちを全否定する親が悪いか。 と思ったがこれって家族ぐるみで仕組んだ炎上演出なのかも。 関連：本ブログにおける育児記事のポリシー
今日開始のKindle本セール「グラビア夏祭り」「999円ITビジネス書」「夏コミック第3弾」等、Googleクラウド自然言語API、なぜ研究進まない、なぜ論文書けない、など - W.O.H
2016年7月22日のヲハニュースをお届けします。 Kindleセールスタート！「グラビアsabra夏祭り」「999円ITビジネス書」「ディズニー関連本」「青い鳥文庫」「夏コミック第3弾」など (2016.7.22) : キセブ 恒例の金曜スタートKindleセール（セールページのあるもの）は6件。 2月以降久しぶりのsabra祭りあり。 お手軽学びフェアではおすすめのマンガ片付＆収納術がまた出てます。 【30%OFF】小学館（写真集)sabra夏祭り2016第1弾（7/28まで） 例：愛人倶楽部 橋本マナミCOVER DX [sabra net e-Book] 【30%OFF】「夏☆電書」ディズニー関連タイトル＆青い鳥文庫フェア（8/4まで） 例：ディズニーファン2016年8月号増刊 「夏ディズニー」大特集号 [雑誌] 例：名探偵ホームズ 赤毛組合 (講談社青い鳥文庫) 【期間限定無料＆
http://www.mext.go.jp/wonder/space/common_data/ngword.xml
バイシュン ジサツ ドウテイ ニート オカマ ヤクザ チュウゼツ ハンセンビョウ ハゲ ホモ ミナマタビョウ ANAL abortion aneurysm bum burial cancer casket cerebral accident cocaine cock cocksucker cock-sucker cunt dead death deceased demise desanguinated dick die disfigured drown drowned drugs dying electrocuted electrocution embolism erect erection ero eros execution expire fatal stroke FUCK funeral Gスポット hemorrhage heroin horror Hがぞう H画像 incarcer
グーグル検索は人物名の不適切な予測キーワードを排除、外国人にとっての宝の山の名古屋はええよやっとかめ、無印良品週間開催中6月20日まで、など - W.O.H
2016年6月16日のヲハニュースをお届けします。 新井紀子教授が予見！ロボットで失業するのは「銀行の窓口」より「半沢直樹」 ホワイトカラー「半数が不要」の衝撃｜ビジネス+IT 人間とロボットの得意不得意。 Google検索のキーワード予測。人物名の場合は不適切な言葉の組み合わせを意図的に排除 - PC Watch 人物名で検索した際にオートコンプリートで候補に表示される単語の候補からは、攻撃的なものや、侮蔑するような言葉を排除するアルゴリズムを以前より導入しているという。 へえ。 サイト消失「ICT女子プロジェクト」で新たな不備 応募用紙の流用に「言い訳の余地がない」 完全にダメだね、これは。 名古屋は､なぜ外国人にとって宝の山なのか | レジャー・観光・ホテル | 東洋経済オンライン | 経済ニュースの新基準 尾張名古屋は城で持つ。 名古屋はええよ!やっとかめ - Wikipedia
【ベイズ】Naive Bayes（単純ベイズ）による文書分類のサンプルプログラム【Perl】
【ベイズ】Naive Bayes（単純ベイズ）による文書分類のサンプルプログラム【Perl】 2013-07-26-1 [Programming][Algorithm][NLP] かなり昔に作った Naive Bayes（単純ベイズ）による文書分類のサンプルプログラムを整理したので公開しておきます。Perl で書かれています。Pure Perl。 Naive Bayes についての詳細は下記のサイトをどうぞ。 - 単純ベイズ - 機械学習の「朱鷺の杜Wiki」 - Wikipedia:単純ベイズ分類器 さて、Naive Bayes で分類するときには下記の式を用いるわけです。 Pについての定義は下記： 実装を簡単にするために log をとって足し算にしています（argmax ですが実際はマイナスかけて argmin で実装）。 学習データ 分類したいカテゴリごとに1行。 各行はカテゴリのラ
【アイディア】圧縮率向上のための構成支援ツール
【アイディア】圧縮率向上のための構成支援ツール 2011-03-28-1 [Idea][NLP] 日本語文字列の場合（に限らないけど）、使う字種を少なくするほど圧縮率が向上する。漢字をひらがなにすると情報量が減るので（「記者」を「きしゃ」と表記すると「汽車？帰社？貴社？」と曖昧性が増える＝情報量減少）、当たり前のことだけど。 ということで、圧縮率向上のための構成支援ツールがあると嬉しい。「この文字をひらがなにするとこれだけ圧縮率が上がります」と教えてくれたり。 ひらがな化の推薦順序はどういう漢字がひらがな表記率が高いかの統計データを使う。例えば「面白い」を「おもしろい」と書くのは一般的だけど「東京駅」を「とうきょうえき」とはあまり書かない、みたいな統計データ。コーパスから得ることができる。 既出ネタかな。 ちなみに手元にある100万文字ほどの日本語テキストとそれを形態素解析器通して読みだけ
Modern Information Retrieval 第二版をゲット！
Modern Information Retrieval 第二版をゲット！ 2011-02-23-1 [Book][NLP] 発売がのびのびになっていた Modern Information Retrieval (MIR) の Second Edition ですが、やっと入手しましたよ！ 初版と比べて厚さ3倍！ 参考文献のページのフォントが大きくなってて余分にページ数を食っており、そこを除けば厚さは2倍ほど。 ■Berthier Ribeiro-Neto,Ricardo Baeza-Yates / Modern Information Retrieval ref. - [を] Modern Information Retrieval 第二版が2008年5月に出るみたい[2007-10-17-2] - [を] Modern Information Retrieval 第二版の発売が2009年
IT系NLP系ニュース【2010/3/8】
IT系NLP系ニュース【2010/3/8】 2010-03-08-3 [NLP][Algorithm][News] 情報系、自然言語処理(NLP)系の話題いくつか。 - 【PDF】情報処理学会全国大会プログラム http://www.gakkai-web.net/gakkai/ipsj/72program/html/outline/program.pdf 今日からやってる。 言語処理学会年次大会などいくつかの大会と共催。 iPhoneに入れたけど見にくいなあ。やっぱ紙か。 - 【移転】グーグル、六本木ヒルズ森タワーに東京オフィスを移転 http://kenplatz.nikkeibp.co.jp/article/nfm/news/20100304/539755/ 渋谷のセルリアンから六本木ヒルズへ。元ヤフーのフロア群かな。連続フロアで借りられるオフィスビルはそうそうないからな。 - 【開発
U-15天堂 Lolita小蘿莉的秘密花園: Tomoe Yamanaka (山中知恵)-191 - p_dvd_tomoe-y03_009.jpg - yam天空部落
台灣離島超好玩，尤其澎湖美景無敵，總是吸引不少觀光客前去觀光！2023年澎湖花火節即將在4/20登場啦~~馬上推薦５間在澎湖馬公的高質感住宿，讓你玩的豐富也住的舒服！ 澎湖住宿推薦｜野渡假旅店 Wild Hotel 野渡假旅店位在熱鬧的馬公市區內，鄰近澎湖海上花火節舉辦地「觀音亭海灣」，在這邊可以零距離欣賞亮麗的煙火！此外，野渡假旅店地理環境優越，步行兩分鐘就可以抵達海邊，與海共舞、欣賞絕美夕陽；附近生活機能便利，超商、自助洗衣店等走路就可以抵達。 野渡假旅店以工業風為設計基礎，將水泥牆、紅磚、木頭相互搭配，獨樹澎湖旅宿的全新「粗野」的奔放風格，同時也提供旅人一個溫暖而舒適的休息空間。最特別的是，野渡假旅店提供兩種寵物友善的房型，可以放心地帶毛小孩來澎湖玩了！如果有帶家裡的狗狗貓貓來，要記得提前告知住宿喔～
選択テキスト中のキーフレーズでウェブ検索するブックマークレット
選択テキスト中のキーフレーズでウェブ検索するブックマークレット 2009-07-16-3 [Programming][YahooHacks][NLP][Bookmarklet] ブラウザ上で選択したテキストからキーフレーズを取り出してそれらでウェブをAND検索するためのブックマークレットを作りました。 キーフレーズの抽出にはこれを使用しています。 JSONP が使えるので Bookmarklet にも手軽に使えます。 - Yahoo!デベロッパーネットワーク - テキスト解析 - キーフレーズ抽出 http://developer.yahoo.co.jp/webapi/jlp/keyphrase/v1/extract.html なお、Firefox での動作しか想定していません。 IEだと動きません。 使い方 (1) 下記のリンクをブラウザのブックマークに登録してください。 「抽出＆検索」
Yahoo!のテキスト解析系APIとウェブ検索APIの使い方についてのプレゼンで出てきたURLのリスト
Yahoo!のテキスト解析系APIとウェブ検索APIの使い方についてのプレゼンで出てきたURLのリスト 2009-07-10-2 [Programming][YahooHacks] 「Yahoo! JAPAN × ロクナナワークショップ クリエイティブカレッジ」[2009-07-10-1]で話した内容のフォロー、というか、プレゼンで出てきたURLのリストです。 なお、プレゼンの内容は、Yahoo!ウェブサービスのテキスト解析系APIの使い方Tipsとウェブ検索APIを使ったテキストマイニングについてでした。 ■第一部：テキスト解析APIの活用方法 - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html - Y!API demo forms - 日本語形
テキストに含まれる重要フレーズを抽出してくれる「Yahoo! キーフレーズ抽出API」を使ってみた
テキストに含まれる重要フレーズを抽出してくれる「Yahoo! キーフレーズ抽出API」を使ってみた 2009-07-05-3 [Programming][YahooHacks][NLP] Yahoo!デベロッパーネットワーク(YDN)にキーフレーズ抽出APIが登場しました。 テキストを渡すとそこに含まれる重要そうなフレーズを抽出してくれるAPIです。 公開から一ヶ月ほど経っていて目新しさはないのですが、ハックしてみたのでご報告。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - テキスト解析 - キーフレーズ抽出 http://developer.yahoo.co.jp/webapi/jlp/keyphrase/v1/extract.html - キーフレーズ抽出API の紹介 (Yahoo!
統計的機械翻訳の基本文献リスト - 武蔵野日記
今日は機械翻訳勉強会だったのだが、修士の人も入ってきてくれたので、一度基本的な論文からしっかり勉強しましょうか、という感じで原典を読むことに。(上記リンク先に eric-n さんが統計的機械翻訳の基礎的な論文のリストを作ってくれている) 今日は IBM Model 1 で終わり。そういえば M1 で入学したとき、一番初めに論文紹介したのはこの論文だった(入学した当初は機械翻訳の研究をするつもりだったので)。 Statistical Machine Translation 作者: Philipp Koehn出版社/メーカー: Cambridge University Press発売日: 2009/12/17メディア: ハードカバー購入: 1人 クリック: 12回この商品を含むブログ (16件) を見る 2年くらい前から出る出る言っていた統計的機械翻訳のテキスト本だが、とうとう今年の8月に出る
テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
筑波大で講演してきました
筑波大で講演してきました 2009-05-26-2 [NLP] 筑波大学のコンテンツ工学セミナーで話して来ました。 内容は自然言語処理の基礎と現場での応用、ウェブAPIの活用レシピ、などです。ここ数年、あちこちの大学などで講義した内容をがっつり詰め込みました(案の定時間が足りなくなりましたが…）。 数多くのネタを提示することが最大の目的だったゆえ、つっこんだ話は無し。参加者方々に何かしらの研究のヒントを与えることができていたらば幸いです。 途中、実際にNLPを使用したネットサービスをデモ形式で紹介しようと思ったのですが、イーモバイルの電波状況が悪かったのであまりできませんでした。 下記にデモしようと思ったサイトを挙げておきます。 某ポータルサイトにおいて何かしらの自然言語処理技術が使われていそうな何かのうちのいくつかです。 (1) 自動カテゴリ分類の例としてコンテンツマッチ商品提示。 -
”レンコン”は拳銃 総務省が犯罪検知ソフト開発へ - MSN産経ニュース
総務省がネット上の殺人予告や、隠語を使った拳銃取引など犯罪の情報を検知し、サイト運営企業へ自動的に知らせる新しいソフトウエアの開発に乗り出すことが２０日、分かった。サイト運営企業はネット上の有害情報対策を強化しているものの、監視人員の確保が困難な上、通常の検知ソフトでは、隠語のような特殊言語への対応は困難という。開発は平成２１年度から３年程度かけて取り組み、総事業費は十数億円規模を想定している。 開発するソフトは通常の言葉だけでなく、「レンコン＝拳銃」など、一般の閲覧者に内容を知られないように使用されている隠語などもデータベース化して盛り込む。また、「自然言語技術」と呼ばれる手法を使い、文章全体の構成から犯罪との関連性を推測する機能も備える。サイト上の情報を犯罪性有りと判断すれば、運営企業へ自動的に知らせ、サイト運営企業は内容を確認した上でその情報を削除する。 総務省は平成２１年度予算で、
論文紹介：複数の単一言語コーパスから対訳語を抽出 - DO++
ACL 2008で既に読めるようになった論文で面白かったやつ "Learning Bilingual Lexicons from Monolingual Corpora" A. Haghighi, et. al. to appear ACL2008 pdf タイトルは衝撃的な内容だが、内容も面白い。 従来統計的機械翻訳では、翻訳ペア、フレーズ抽出は対訳コーパス、つまりロゼッタストーンのように同じ内容が複数言語で書かれているようなデータを元にし学習するのが一般的だったが、この方法の欠点はもちろんそのような対訳コーパスが無い言語間ではこの手法が使えないということだった。顕著なのは日本語で、他の主要言語間は国連の公用語なら国連の議事録、EU加盟国ならEUの議事録とかから大量で高精度のコーパスが（しかも安価で)手に入るのだが日本語はそのようなペアがない。これも日本語の統計的機械翻訳の精度がいまいち
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Livingetc: Modern home design and style