ニューラル言語モデルは何を目的としているのか？ 〜 「A Neural Probabilistic Language Model」を途中まで読んだ - 病みつきエンジニアブログ
word2vecでさんざん遊んだ皆さん、こんにちは。 今日は、word2vecの元になった論文の元になった論文の先行研究になっている論文「A Neural Probabilistic Language Model(Yoshua Bengio)」の紹介です。 word2vecは、単語の素性で足し算・引き算ができたり、単語の類推(アナロジー)ができたり、単語の素性の面白さが注目されています。とは言え、ニューラルネットによる言語モデルは、別に単語の素性で遊ぶために作られたわけではありません。 ということで、ニューラルネットによる言語モデルの本家(？)である「確率的ニューラル言語モデル(Bengio先生)」の論文から、「そもそも何を目的にモデリングしているのか」「なぜニューラル言語モデルが必要なのか」というあたりを、紹介したいと思います(主にIntroductionの部分、ということになります。)
word2vec を対話式に実行するコンソール・アプリケーションをつくってみた - Qiita
（ 作成 & 投稿動機 ） 仕事先の会社関係で、 word2vec 解析を行っていて、Google Mikolov 論文 のこととか 説明していたら、意味の足し算引き算するとき（※ Python の word2vec_analogy()メソッド）に、引数に渡す単語の順番がわからない （ ポジティブ・ワードってなに？ ネガティブ・ワードは？？ なんでポジに２つあるの？ etc... ) で、説明しても、また他の同僚なり上司がわからなかったりするので、ターミナルで対話式に単語を入力すると、答えがかえってくる（ & コーパスに存在しない単語を入れたり、カレント・ディレクトリにないテキスト・ファイルを読ませようとしたらエラーがそれなりにちゃんと出る）コンソール・アプリケーションをつくってみた 数日後に、ほかの人にもみせたいから、そうだ君、ウェブからだれでも見られるあれ、Qiita にあげてよ、と言
Statistical Semantic入門 ~分布仮説からword2vecまで~
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion ModelsDeep Learning JP
ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた - 病みつきエンジニアブログ
最近にわかにword2vecが流行っています。ので、乗っかってみました的記事です。 理論に関してはあまり詳しくしらないので、印象だけで語っているかもしれません。何かありましたらTwitterかコメント等でご指摘いただけますと幸いです。 ちなみに、失敗した話が多いです。 word2vecと単語のベクトル表現 word2vecは、機械学習の分野で使われる、ニューラルネットというモデルを使ったツール／ライブラリです*1。名前の通り、wordをvectorにします。vectorにする、というのは、ベクトル表現を獲得するということで、意味(みたいなもの)の獲得というか、素性の獲得というか。 単語のベクトル表現の獲得自体は、別にword2vecにしかないわけではありません。言い換えると、昔からあります。LDAを使って単語のトピック分布のようなものを学習したり(vingowでやりました)。余談ですが、こ
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
