タグ

情報科学に関するisrcのブックマーク (4)

  • 情報理論を視覚的に理解する (3/4) | POSTD

    交差エントロピー オーストラリアへ引っ越す直前、Bobは、私が作ったもう1人の人物、Aliceと結婚しました。私も、私の頭の中の他のキャラクターたちも驚いたことに、Aliceは犬好きではありませんでした。彼女は好きだったのです。それにもかかわらず、2人は、それぞれ動物に夢中で、非常に語彙が限られているという共通点を見出したのでした。 注釈:犬好きが使う単語の頻度 好きが使う単語の頻度 2人は、同じ単語を使いますが、その頻度だけは異なります。Bobはいつも犬の話をしているし、Aliceはの話ばかりしています。 最初に、AliceがBobのコードを使ったメッセージを私に送ってきました。あいにく、そのメッセージは必要以上に長いものでした。Bobのコードは彼の確率分布に最適化されていました。Aliceは別の確率分布を持っており、Bobのコードを使うのは最適とは言えません。Bobが自身のコード

    情報理論を視覚的に理解する (3/4) | POSTD
  • 自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData

    言語データの分析と応用のために自然言語処理と呼ばれる分野で長年研究が行われて来た。同分野が昨年から大きく沸き立っている。米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法「Word2Vec」が、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にしたのだ。 この手法によって得られるベクトル空間には、今まで定量的に捉えることの難しかった言葉の「意味」を極めて直接的に表現しているかのような性質が認められている。今年9月、当社がスポンサー参加した自然言語処理系の研究発表会「NLP若手の会 第9回シンポジウム」でも、多くの研究がWord2Vecに関連したテーマについて取り上げていた。今後、意味解析、文書分類、機械翻訳など様々な分野でWord2Vecの応用が期待されている。 「意味ベクトル」の驚異的な性質 Word2Vecは、その名前の表す通り、単語をベクトル化して表現する

    自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData
    isrc
    isrc 2014/12/04
    ある単語が与えられたときに、近く(前後5―10単語くらい)に出現する他の単語を当てる、という問題の解を、与えられた文章中の単語全てに対して人工ニューラルネットワークに学習させる
  • コンピュータ関連の専門用語辞典 - 発声練習

    610.12-1990 - IEEE Standard Glossary of Software Engineering Terminology(Google検索) IEEE標準でコンピュータ用語が定義されるときに引用される文書 Oxford, Dictionary of Computing, 6th Ed.(Amazon.co.jp) 悪用しないから電子版を売ってほしい。せめて、Kindleで… 2000円弱なので修士課程の学生は持っておくのが良いと思う。 Encyclopedia of Computer Science, 4th edition (in ACM Digital Library) 無料で読める

    コンピュータ関連の専門用語辞典 - 発声練習
  • [メモ] AICの回帰への利用を簡単に - 最尤日記

    その式は最も初歩的なモデルでしか成立しないから そういう風に覚えない方がいいです 物理でいえば等速直線運動くらいまで単純なモデル。 現在実際に使われているほとんどの統計モデルでは 成立してないです。 あと、パラメータを1つふやすorへらすという操作で作ったモデルは包含関係が成立します。、 比較するモデルのパラメータが包含関係にある場合はそもそもAIC使う必要がないです。 尤度比検定が使えてそっちの方がよっぽど正確。 なのでAICの使い方を間違えています。 歴史的には比較するモデルが包含関係にない場合でも どちらのモデルがよりよいかを議論するために AICがつくられたのです。

    [メモ] AICの回帰への利用を簡単に - 最尤日記
  • 1