NIPS2013読み会でword2vec論文の紹介をしました

先週、 @sla さん主催のNIPS2013読み会で、word2vec論文（正確には続報）の紹介をしました。 ちょっと解説を書きます。 このところの深層学習ブームは自然言語処理にも来ていて、それらのウチの1つと言われています（が、全然deepっぽさはない）。 最初のモチベーションがどういうところにあったかというのは、ちょっと色々だと思いますが（おそらく最初は言語モデルにおける低頻度語の確率をウマイことモデル化・推定したかったんではないかな）、何はともあれ単語の意味的なあるいは統語的な振る舞いをベクトル表現で表すという研究が流行っております。 ベクトル表現というのは、1つの単語wに対して、その単語を「表現」するようなベクトル v(w) を作ります。 そんなこといわれても、作れば？ということなんですが、できたベクトルに対して何かしら「都合のいい」性質ができることが真の目標です。 「都合のいい」

[sh19910711]

2014 / "単語間の関係はもっと複雑で低次元のユークリッド空間では表現できないと思っていた / ぼくらが思っていたより「意味」は単純であった可能性 / 足し引き: うまくいかない例を探して ~ 想像を超えてうまくいって"

[rishida]

NEGが謎操作。ていうか目的関数は何から最適化すれば良いのか謎。深い闇を感じる

[hotoku]

word2vec

[chezou]

"Germany+airline=lufthunsa"!!