サブカルのためのword2vec | BLOG - DeNA Engineering
はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み
paragraph2vecの論文 要訳 (Distributed Representations of Sentences and Documents) - Qiita
paragraph2vecの論文 要訳 (Distributed Representations of Sentences and Documents)自然言語処理機械学習word2vecparagraph2Vec論文読み 原文: Distributed Representations of Sentences and Documents 要訳者からのお知らせ この要訳はTSGの機械学習分科会での発表のために作られたものです。 雑に内容を理解するためのまとめであり、正確な内容を保証するものではありません。 致命的なミスはコメントか編集リクエストでお知らせください Abstract 機械学習するには入力を固定長のベクトルにする必要がある 既存手法で一番popularなのはbag-of-words だけどBOWはクソ 順序の情報が失われる 単語間のセマンティクスが失われる なので Paragr
NIPS 2016 輪読: Supervised Word Movers Distance
Slideshare のバグ（？）でリンクが表示されていませんが、 ・ダウンロードすれば閲覧できます ・ページ下部の transcript 部分にも記載されています ・冒頭3ページ以外はリンク自体は生きているのでクリックもできます NIPS 2016 で発表された "Supervised Word Mover's Distance" の解説スライド。
Word Mover's Distance: word2vecの文書間距離への応用 - yubessy.hatenablog.com
word2vecによって得られる語の分散表現を用いて文書間の距離（非類似度）を計算する手法についての論文を読みました。 せっかくなので解説してみます。 [1] Kusner, Matt J., et al. “From word embeddings to document distances.” Proceedings of the 32nd International Conference on Machine Learning (ICML 2015). 2015. TL;DR この論文では Word Mover’s Distance(WMD) という文書間距離の計算手法を提案しています。 提案手法は手っ取り早く言うと次のようなものです。 文書A, B間の距離 = A, Bの語同士を対応付けることでAをBに変換するとき、 対応付けのコストが最も低い場合のコストの総和 語xを語yに対応付
Mikolovのword2vec論文3本(2013)まとめ - こんな夢を見た
Linguistic Regularities in Continuous Space Word Representations. Efficient estimation of word representations in vector space Distributed representations of words and phrases and their compositionality Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig, 2013, NAACL Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, 2013, ICLR Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, Jeff Dean, 2013, NIP
単純な単語のベクトル表現: word2vec, GloVe - Qiita
スタンフォード大学の"Deep Learning for Natural Language Processing"という授業の映像とスライドが公開されているので最近視聴しているのですが、観ただけだと身に残らなさそうなので内容を要約しつつ講義メモを公開することにしました。 今回は第2回目"Simple Word Vector representations: word2vec, GloVe"です。1回目はイントロなので飛ばしました。 動画 スライド 単語毎に意味を表現する方法とその問題点 単語の意味をコンピュータに認識させたい場合、WordNetなどの人手で作られた分類表を使う方法がある。しかしこうした表現には問題がある。 細かいニュアンスを表現されていない（adept, expert, good, practiced, proficient, skillfulなどのsynonymsの違いと
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
朝日新聞単語ベクトル
A Latent Variable Model Approach to PMI-based Word Embeddings
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compositionality
Skip gram shirakawa_20141121
word2vecとPMIが等価 - Kazuma Hashimoto (橋本和真)