サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
世界禁煙デー
watanabe-www.math.dis.titech.ac.jp
Sumio Watanabe Homepage なぜ,新しい理論と方法が必要なのでしょうか? 定義と説明は WAIC と WBIC にあります. 具体的な例で説明します.混合正規分布を考えましょう. モデル選択の問題:「サンプルを発生した真の分布は,いくつの正規分布からできているか?」 【実験例】真のパラメータ (0.5,0.3) で定まる確率分布から独立に X1, X2,...,Xn を 発生して,事後分布をMCMC法で作りました(事前分布は 0≦a≦1, -5≦b≦5 上の一様分布です). 図で,○は事後分布を表します.● は真のパラメータです. 真のパラメータにおけるフィッシャー情報行列 I(0.5,0.3) は正定値です. 従って,n が『十分に大きければ』事後分布は正規分布で 近似できます(フィッシャーの漸近理論あるいはラプラス近似理論). しかしながら, 上の図から事後分布は正
このページをご覧いただきありがとうございます。 1. ベイズ自由エネルギーとは ベイズ自由エネルギー F は、与えられたデータに対して確率モデルと事前分布の組が どの程度に相応しいかを表しています。 ベイズ自由エネルギーはベイズ確率的複雑さと呼ばれることがあります。 またベイズ自由エネルギーの符号を反転したものは、ベイズ対数周辺尤度と呼ばれることが あります。 「ベイズ自由エネルギーが確率モデルと事前分布の適切さを与える」ということを 最初に提案したのは統計学者 I. J. Good 博士であると言われています(1965年ころ)。 その後、多くの研究者が同じ提案を行っています。現代では、この量が大切であることは 広く知られていると思われます。 (注)ときどき「ベイズ法では、学習モデルと事前分布が恣意的に定められるので主観的であり信用できない」 という意見がありますが、そうではありません。学
渡辺澄夫 このページは2024年3月までに終了します。長い間ありがとうございました。
と考えることができます。これを情報損失ともいいます。 投手と捕手が相性が良くて、ぴったりと息があっていれば、その情報損失は0になります。 この場合は何も問題はありません。 では、投手と捕手がぴったりと同じになれない場合はどうでしょうか。 いま、q(x) と p(x) が、それぞれ、集合 Q, P に入っている場合を 考えましょう。つまり q∈Q, p ∈P とします。このとき、次の ことがわかります。 (a) 投手 q を固定して、損失 K(q||p) が最小になるような捕手 p∈P を求めると、 捕手 p の守備範囲は、投手 q が投げてくる領域よりも、広がった密度関数になります。 (b) 捕手 p を固定して、損失 K(q||p) が最小になるような投手 q∈Qを求めると、 投手 q の投げる球は捕手 p の守備範囲よりも、せばまった密度関数になります。 すなわち、(a) のケースのよ
このページをご覧いただきありがとうございます。 2015年に用語の修正をしました。 1.基礎概念 ベイズ学習あるいはベイズ統計を初めて習う人に紹介します.まず,基礎概念と,その名前を 覚えましょう. (1.A) 情報源が確率分布で表されているものとします.情報源からサンプルが 得られたとき,サンプルから情報源を推測することを 学習 (Learning) あるいは 統計的推測 (Statistical estimation) といいます. (1.B) 以下では,情報源がユークリッド空間上の確率分布である場合を 考えます.情報源を表す確率密度関数を q(x) とします.これを 真の確率密度関数 (True probability density function) と呼ぶことにします.真の確率密度関数 q(x) に独立に従う n 個の確率変数の集合 を サンプル,データ,学習例 あるいは単に
English Version Last Updated 2019, 4/1 東京工業大学 情報理工学院 数理・計算科学系・コース 〒152-8552 東京都目黒区大岡山2-12-1メールボックス W8-42
もどる 1.概略 サンプルと学習モデルが与えられたとき、真の確率分布(サンプルを発生している分布)を推測する ことを統計的学習といいます。 推測された確率分布を用いて未知のデータを予言したときの 誤差が予測誤差であり、推測された確率分布を用いて既知のサンプルを予言したときの誤差が 学習誤差です。 予測誤差を小さくすることが学習の本当の目的ですが、予測誤差は真の確率分布がわからなければ 計算できません。学習誤差はサンプルだけから計算できますが、予測誤差とは一致しません。 もしも学習誤差から予測誤差を推測できれば、サンプルだけから未知のデータに対する予言の良さが わかるので、非常にありがたいということができます。しかしながら、予測誤差の平均値を知ることは、 統計的正則モデルでは実現されていましたが、統計的に正則ではないモデルでは 実現する方法がありませんでした。統計的に正則でないモデルはパラメ
多項式 x^4-x^2y+y^3=0 で表される集合 V の特異点を解消して みましょう。原点Oは,この集合の特異点です。 「原点を中心とした V のブローアップ」のことを B_O(V)と書きます。 特異点を解消すると次のようになります。 このように、ある部分を引き伸ばして二つ以上の座標を作る ことをブローアップといいます。 特異点のところを中心にしてブローアップすることで特異点を解消することができます。 もともとひとつだったものが二つになるのは数学的に自然でないと感じる人は、 「二つの座標が実はひとつのものの異なる側面をみたものである」という気持ちになって、 二つの座標のもともと同じだった点を貼り合わせると次の図のようになります。 これがブローアップを用いた特異点の解消です。 ブローアップでできる集合は向きづけ可能であるとは限りません。 下の図のように「メビウスの帯」のような形をしている
このページをご覧いただき、ありがとうございます。 ここでは、情報量規準 WAIC を紹介しています。 ベイズ推測のための情報量規準(WAIC)が導出されました。 WAIC は(真の分布、確率モデル、事前分布)がどのような場合でも使う ことができます。他の規準と異なり理論的な基盤を持っています。 (0) モデル選択やハイパーパラメータの最適化に使えます。 (1) 漸近的に汎化損失と同じ平均値と同じ分散を持ちます。 (2) WAIC は簡単に計算できます。 (3) 真の分布が確率モデルで実現可能でなくても使えます。事前分布が真の事前分布でなくても使えます。 (4) 平均対数損失を最小にするパラメータがユニークでなくても使えます。 平均対数損失を最小にするパラメータが特異点を含む解析的集合であっても 使えます(注1)。 (5) フィッシャー情報行列が正則でなくても使えます。 (6) 事後分布が正
本当の尤度関数を見てみましょう。 事前分布として場所に よらず一定値のものを考えた場合には、 事後分布も尤度関数と同じ形をしていますから「目で見る事後分布」でもあります。 MATLAB プログラム: 尤度関数 , メトロポリス法 . 尤度関数は、サンプルの出方に依存して確率的に変動します。 ここで示しているのは、あるサンプルに対するものです。 参考として最尤推定量の位置も記入してありますが、 最尤推定量は真の分布が同じでもサンプルが変われば、まったく違った 位置になりますので、ここに書かれている位置は偶然のものです。 この例を見れば、「統計学はフィッシャーの漸近理論だけで十分」とは言えないことが 一目瞭然ですね。 統計学の専門家のかたでも、しばしば次のように間違えます。 サンプルを X1, X2, ..., Xn としましょう。 「真の分布が統計モデルの特異点とぴったりと一致する ことは現
このページを作成したのは2005年でした。このページを作成した後から 解明されたこともたくさんありますが、このページは、このまま掲示を 続けたいと思います。なお、論文情報については更新しました。(2010/May/11) 最近、研究室の人たちが、学習理論における平均場近似の 精度について理論的な研究をされているので、かんたんな解説を 書いてみました。 1.平均場近似 w=(w1,w2,..,wd) を d 次元ユークリッド空間の中のベクトルとします。 p(w) を d 次元ユークリッド空間の上の確率分布とします。 p(w) を作りたくても高次元上の確率分布はなかなか作れないという問題があります。 このとき、全ての変数 w1, w2, . . . , wd が独立である確率分布
ベイズ統計の理論と方法 渡辺澄夫 ベイズ統計の理論と方法、コロナ社、2012 , アマゾンのページ この本ではベイズ統計の理論と方法を紹介しています。 ベイズ統計については良い本がたくさん出版されていますので、他の本と 合わせてお読み頂ければ幸いです。 初めてベイズ統計に出あった人はもちろん、これまでにベイズ統計について勉強を されていて、多くの疑問を持たれているかたに本書をお薦めします。 特に、ベイズ統計について『いろいろな本に○○○と書いてあるが、これは 本当のところ正しいのだろうか』と思われていることが沢山あるかたに本書を お勧めします。例えば、 Q1.なぜ事前分布を信じることができるのだろうか? Q2.ベイズ法は数理や理論に支えられていないのだろうか? 『百人いれば百個の推論』でよいのだろうか? Q3.私は BIC や DIC でモデルを設計して来たが、それで本当によかったのだろう
問い: 混合正規分布や神経回路網などの構造を持つ学習モデルでは 最尤推定は漸近的にも有効性を持たず、非常に大きな汎化誤差や 符号長を持つと聞いたのですが、最尤推定はいつなら大丈夫でしょうか。 答え: パラメータの集合と確率分布の集合が一対一に 対応していて、かつ、フィッシャー情報行列が逆行列を 持つ場合であれば、最尤推定は漸近正規性を持ち、 漸近有効です。このとき、非常に多くのサンプルがあれば、 具体的には、フィッシャー情報行列の最も 小さい固有値までが、はっきりと見えるくらい多くの 学習データがあれば、最尤推定量を使っても安全といえるでしょう。 尤度関数が正規分布で近似できるということが最尤推定量が安全に 使える条件です。次のことに十分に注意してください。「最尤推定が 安全に使えるかどうかは、最尤推定量を計算しただけではわからない」。 以上の条件を満たさない場合には 最尤推定量は統計的推
このページを最初にブックマークしてみませんか?
『Watanabe Lab.』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く