ベイズ事後分布の相転移と数学・物理学 - 東京工業大学
ベイズ事後分布の 相転移について 渡辺澄夫 東京工業大学 相転移とは何ですか 学生のみなさまから「学習理論における相転移とは具体的に何か」という質問を いただきましたので、具体的な例について紹介します。 相転移とは データの数 n やハイパーパラメータ α を変化させたとき、ある値を境界として その前後で事後分布が急激に形を変えることにより、ベイズ自由エネルギーや 汎化損失の値がそれらのなめらかな関数でなくなることがあります。そのような 変化を相転移と呼びます。 具体例として、ここでは次の問題を考えます。 (1) データの数 n が小さいうちは真の分布の構造を詳しく知ることはできないが データの数が増えるにつれて真の分布の構造が見えてくる(構造の発見)。 (2) 事前分布を決めているハイパーパラメータを変えると事後分布が急激に 変化する点がある (「事前分布は何でもよい」ではないのです）。
真の分布を知ることができる限界について
渡辺澄夫に戻る このページをお読みいただきありがとうございます。 汎化誤差 と WAIC の数学的関係に興味をお持ちいただき、本当にありがとうございます。 このページでは「汎化誤差を推定することの理論的な限界」について考えています。 議論をシンプルにするため、統計モデルが真の分布を実現できる場合を考えます。 Gn, Wn, S, Sn をそれぞれ、汎化損失、WAIC、真の分布のエントロピー、真の分布の経験エントロピーとします。 またλを対数閾値とします。このとき (Gn-S) + (Wn-Sn )= 2λ/n +op(1/n) 式(1) が成り立ちます。Wn のかわりに一つ抜き交差検証誤差(LOOCV)を用いても同じ式が成り立ちます。 WAIC と LOOCV は漸近等価だからです。 （注）証明が必要なかたは恐縮ですが拙著「ベイズ統計の理論と方法、コロナ社,2012,p.119」を
めもめも
gihyo.jp 上記の書籍ページで目次が公開されていますので、内容が気になる方は参考にしてください。また本書の位置付けを知っていただくために、「はじめに」と「おわりに」の部分を抜粋して掲載しておきます。 はじめに 「生成 AI を使ったアプリを開発してみたい!」―― 本書は、そんなあなたのための一冊です。 生成 AI が誰でも簡単に使える時代が来て、チャットのインターフェースで調べ物をしたり、プロンプトの呪文（？）を投げて好みの画像を生成したりと日々の生活に役立つ用途が話題にのぼります。また、その一方で、個人で利用するだけでは飽き足らず、「生成 AI を活用した新しいアプリを作って人々に提供してみたい」「業務システムに生成 AI を組み込む方法を知りたい」、そんな思いを持つ方も増えているようです。 とはいえ、実際に動くアプリを作り上げるには、生成 AI の使い方に加えて、エンドユーザーに
統計物理学と機械学習の関係 - HELLO CYBERNETICS
統計物理学の始まり 統計物理の着想は熱力学にあり 熱力学におけるエントロピーという概念の導入 統計物理学のモチベーション 統計物理学の着想 統計物理学を始める上での基本 熱の移動の正体 統計物理学でのエントロピー 統計力学と機械学習 情報統計力学 イジングモデル イジングモデルを更に一般化したスピングラスモデル 統計力学が機械学習にもたらすもの 機械学習での発展 最後に 量子アニーリングコンピュータ ベイズ 統計物理学の始まり まず統計物理学がどんなものかを説明しましょう。ここを定性的にでも把握しておくと、だいぶ機械学習に近しい考え方を持っていることを強く実感できるはずです。 統計物理の着想は熱力学にあり 統計物理学は熱力学からやって来ました。 私達は生活の中で容易に実感できるように、「熱」というものが温度の高い方から低い方へ流れていくことを知っています。運動エネルギーや化学エネルギー、電
物理のいらない量子アニーリング入門 - Platinum Data Blog by BrainPad
当社の社員が物理を専門としない人向けに量子アニーリングについて解説します！ こんにちは、A.I.開発部の太田です。 今回は量子アニーリングの簡単なシミュレータを作ってみたり、実際のD-Waveを使ってみた経験から、物理を専門としない人向けに量子アニーリングについて解説しようと思います。 （シミュレータのコードはgithubで公開しています。私自身、量子アニーリングについては最近勉強し始めたところなので、色々ご指摘いただけると幸いです。） さて、私の所属する部署の役割として、機械学習・人工知能関連の技術調査や社内への展開を行っており、その一環として昨年12月に早稲田大学の田中先生をお呼びして開催した量子アニーリング勉強会が社内で大変好評でした。 昨年度は量子アニーリングに関する一般書籍が発売されたり、科学雑誌「Newton」でも特集されており、物理学者以外の一般の方にも、量子アニーリングが認
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
佐武原 on Twitter: "個人的にはディープが上手く行っている分野って相当スパースだったり簡単な問題ばかりに見えるんだけど、超知能であるように錯視するには今でも十分すぎるという話でもある"
ハミルトン4.pdf