[B! 自然言語処理] y___uのブックマーク

NTT40年の自然言語処理技術を結集して「いつどこで誰が何をどうしたゲーム」を作った【Python & Webスクレイピング & COTOHA API】 - Qiita

NTT40年の自然言語処理技術を結集して「いつどこで誰が何をどうしたゲーム」を作った【Python & Webスクレイピング & COTOHA API】Python自然言語処理NLPWebスクレイピング COTOHA タイトルはアオリです。全然使いこなせてないので予めご了承ください。やりたいこと Python素人なので勉強したい。 Webスクレイピング素人なので実装したい。自然言語処理(NLP)素人なので使ってみたい。 →PythonでWebスクレイピングしてその結果を言語処理するアプリケーションを作る。作ったものスクリプトに引数として単語を与えると、その単語のWikipedia記事を解析。「いつ」「どこで」「だれが」「なにを」「どうした」に分解し、ランダムにそれらを組み合わせて表示する。動作例 (豊臣秀吉のページ解析) $ python cotoha_api_wikipedi

y___u 2018/10/31

笑ったずるい

リンク

TensorFlowを使った機械学習を論文抽出に適用、ヒントは大学入試問題対策の裏ワザ

これを行ったのは、東京共済病院腎臓高血圧内科部長、東京医科歯科大学臨床教授などを務める神田英一郎氏。日本腎臓学会の組織した委員会による、慢性腎臓病（CKD）をテーマとした「エビデンスに基づくCKD診療ガイドライン2018」（未出版）の作成に関わった。その作成プロセスにおいて、論文スクリーニング作業の負担が重いことから、機械学習の活用を思い付き、「第3のスクリーニング担当者」を生み出した。以下では、同氏の説明に基づき、これを紹介する。「心の折れる作業」をどう軽減できるか医療の世界では、「EBM（Evidence Based Medicine）」への取り組みが進められてきた。EBMとは、「医療行為は最新、最良の科学的根拠に基づいて行うべき」という考え方だ。診療ガイドラインは、EBM推進の観点から、臨床現場での意思決定における判断材料の1つとして利用することを目的とした文書で、各専門分野の

y___u 2017/12/21

いきなりDNNでやってもいいくらいお手軽な手法になってきたってことかな(他の手法や過学習の話は置いといて)

リンク

Elasticsearchのための新しい形態素解析器「Sudachi」 - Qiita

tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」なにが良いの？最新の辞書企業（ワークスアプリケーションズ）による継続的な更新複数の分割単位 → 検索用途での再現率と適合率の向上プラグインによる拡張省メモリ Elasticsearchで使いたいプラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください注: この記事の執筆者はSudachiの開発に関わっていますさまざまな形態素解析器形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利

y___u 2017/12/14

おっ

リンク

「深層学習による自然言語処理」を書きました

5/25に，IBMの坪井さんと，NTTの鈴木さんと書いた「深層学習による自然言語処理」というタイトルの本が発売されました．特に昨年1年間は，土日や夜をかなり潰したので，ようやく発売されたなぁと感慨深いものがあります．最終稿の直前で，図を差し替えたり，変な文が見つかったりしたので，まだ変な誤植があるかもしれませんし，読みにくいところもあると思います．本の内容ですが，おおよそ2012年から2015年くらいの深層学習系の自然言語処理の流れをトレースしています．つまり，埋め込みベクトルの学習（word2vec），ニューラル言語モデル，符号化復号化モデル（encoder-decoder, sequence-to-sequence），注意機構（soft attention/hard attention）とその応用（attention encoder-decoder, memory networ

y___u 2017/05/27

リンク

日本語 Wikipedia エンティティベクトル

お知らせ (2018/09/24) 最新版の訓練済みベクトルと訓練用のスクリプトは GitHub で公開しています。概要「日本語 Wikipedia エンティティベクトル」は、日本語版 Wikipedia の本文全文から学習した、単語、および Wikipedia で記事となっているエンティティの分散表現ベクトルです。Wikipedia の記事本文の抽出には WikiExtractor を、単語分割には MeCab を、単語ベクトルの学習には word2vec をそれぞれ用いています。ダウンロード 20170201.tar.bz2 (2017年2月1日版, 1.3GB, 解凍後 2.6GB) 20161101.tar.bz2 (2016年11月1日版, 1.3GB, 解凍後 2.6GB) バイナリファイル (entity_vector.model.bin) とテキストファイル (ent