small large
小さな世界と大きな世界 渡辺澄夫 １ 質問 質問 学生の皆様から次の質問をいただきました。 質問 「統計学を紹介する動画を見ていたら 小さな世界 と 大きな世界 という言葉が 出てきたのですが、それらは何ですか」 このファイルでは上記の質問にお答えします。 答えのみ知りたい人は「４回答」をご覧ください。 小さな世界と大きな世界とは https://www.youtube.com/watch?v=4WVelCswXo4 40:30 あたりで、small and large worlds が説明がされています。 いただいたご質問について、小さな世界と大きな世界は 下記の動画で説明されています。 R.McElreath, Statistical Rethinking 言葉を作った人 小さな世界 という言葉は 主観ベイズ法の提案者 L.J. Savage に よって作られたようです。 用語の混同に
PowerPoint プレゼンテーション ベイズ推論 東京工業大学 渡辺澄夫 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日 北海道大学
ベイズ推論 東京工業大学 渡辺澄夫 2016/9/15 1 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日北海道大学 この講演の目的 2 2 統計的推論が命題論理の推論と異なる点を説明し、 ベイズ推論において解明されていることの概略を述べる。 もくじ 3 3 １．統計的推論は命題論理の推論と何が違うのか ２．統計的推論では何を知りたいのか ３．予測誤差と交差検証誤差 ４．総和誤差と自由エネルギー 4 4 １．統計的推論は命題論理の推論と何が本質的に違うのか なぜ人間は「正しい統計的推論」を求めたのか 5 数学や物理学では一定の水準の厳密さにおいて 「正しい推論」というものが存在している。 → 正しいモデルで正しく推論すれば正しい結論が得られる。 → 間違った結論は間違ったモデルか推論から生まれる。 （例） 連続関数の列が一様収
代数幾何と学習理論
渡辺研究室 渡辺澄夫 学習理論の専門書： 代数幾何と学習理論(まえがきともくじ)(森北出版) アマゾンのページ 渡辺澄夫 この本は、代数幾何と学習理論の関係について、 できるだけ具体的に 説明したものです。 「代数幾何と学習理論」のあらすじ 要約 本書では、統計学における周辺尤度を F とし、 代数幾何学における実対数閾値を λとするとき、 が成り立つことを証明しています。ここで n はデータの数です。 （注） (1) 周辺尤度 F はデータから計算できます。統計モデルと事前分布の設計において 最も基本的な量です。これは統計学で良く知られていました。 (2) 実対数閾値 λ は、代数多様体の特異点の性質を表す量です。 これは代数幾何学で良く知られていました。 実対数閾値は（真の分布、モデル、事前分布）から計算できます。 (3) 定理「 F = λlog n 」により、データに基づいて（真の
学習の状態方程式
もどる １．概略 サンプルと学習モデルが与えられたとき、真の確率分布（サンプルを発生している分布）を推測する ことを統計的学習といいます。 推測された確率分布を用いて未知のデータを予言したときの 誤差が予測誤差であり、推測された確率分布を用いて既知のサンプルを予言したときの誤差が 学習誤差です。 予測誤差を小さくすることが学習の本当の目的ですが、予測誤差は真の確率分布がわからなければ 計算できません。学習誤差はサンプルだけから計算できますが、予測誤差とは一致しません。 もしも学習誤差から予測誤差を推測できれば、サンプルだけから未知のデータに対する予言の良さが わかるので、非常にありがたいということができます。しかしながら、予測誤差の平均値を知ることは、 統計的正則モデルでは実現されていましたが、統計的に正則ではないモデルでは 実現する方法がありませんでした。統計的に正則でないモデルはパラメ
ベイズ統計の理論と方法
ベイズ統計の理論と方法 渡辺澄夫 ベイズ統計の理論と方法、コロナ社、2012 ， アマゾンのページ この本ではベイズ統計の理論と方法を紹介しています。 ベイズ統計については良い本がたくさん出版されていますので、他の本と 合わせてお読み頂ければ幸いです。 初めてベイズ統計に出あった人はもちろん、これまでにベイズ統計について勉強を されていて、多くの疑問を持たれているかたに本書をお薦めします。 特に、ベイズ統計について『いろいろな本に○○○と書いてあるが、これは 本当のところ正しいのだろうか』と思われていることが沢山あるかたに本書を お勧めします。例えば、 Q１．なぜ事前分布を信じることができるのだろうか？ Q２．ベイズ法は数理や理論に支えられていないのだろうか？ 『百人いれば百個の推論』でよいのだろうか？ Q３．私は BIC や DIC でモデルを設計して来たが、それで本当によかったのだろう
ベイズ事後分布の相転移と数学・物理学 - 東京工業大学
ベイズ事後分布の 相転移について 渡辺澄夫 東京工業大学 相転移とは何ですか 学生のみなさまから「学習理論における相転移とは具体的に何か」という質問を いただきましたので、具体的な例について紹介します。 相転移とは データの数 n やハイパーパラメータ α を変化させたとき、ある値を境界として その前後で事後分布が急激に形を変えることにより、ベイズ自由エネルギーや 汎化損失の値がそれらのなめらかな関数でなくなることがあります。そのような 変化を相転移と呼びます。 具体例として、ここでは次の問題を考えます。 (1) データの数 n が小さいうちは真の分布の構造を詳しく知ることはできないが データの数が増えるにつれて真の分布の構造が見えてくる(構造の発見)。 (2) 事前分布を決めているハイパーパラメータを変えると事後分布が急激に 変化する点がある (「事前分布は何でもよい」ではないのです）。
ベイズ推論：いつも何度でも尋ねられること
このページをご覧頂き、ありがとうございます。 「ベイズと最尤のどちらが正しいのか」と、いつも何度でも尋ねられます。 「事前分布は何が正しいのか」と、いつも何度でも尋ねられます。 ここでは、できるだけ短く、その質問についての返答を述べます。 １．正しい統計的推論は存在しない 統計学が扱う問題では、ほとんどの場合、基礎となる確率がわからないので、 特別な場合を除いて、正しいモデル・正しい事前分布・正しい推論というものは存在しません。 条件が不足したり過剰だったりして答えられない問題のことを【不良設定問題】と いいます。 統計学は不良設定問題を扱う学問です。 この世にあるほとんどの問題は程度の違いこそあれ、みな不良設定です。 まずは「統計学は不良設定問題を扱う学問である」ということを理解しましょう。 基礎となる確率が定められていなければ【正しい統計的推論】は存在しません。 （注） 基礎となる確率
真の分布を知ることができる限界について
渡辺澄夫に戻る このページをお読みいただきありがとうございます。 汎化誤差 と WAIC の数学的関係に興味をお持ちいただき、本当にありがとうございます。 このページでは「汎化誤差を推定することの理論的な限界」について考えています。 議論をシンプルにするため、統計モデルが真の分布を実現できる場合を考えます。 Gn, Wn, S, Sn をそれぞれ、汎化損失、WAIC、真の分布のエントロピー、真の分布の経験エントロピーとします。 またλを対数閾値とします。このとき (Gn-S) + (Wn-Sn )= 2λ/n +op(1/n) 式(1) が成り立ちます。Wn のかわりに一つ抜き交差検証誤差(LOOCV)を用いても同じ式が成り立ちます。 WAIC と LOOCV は漸近等価だからです。 （注）証明が必要なかたは恐縮ですが拙著「ベイズ統計の理論と方法、コロナ社,2012,p.119」を
Bayesian statistics
統計学入門 「主義」 を心配するみなさまに 東京工業大学 渡辺澄夫 このファイルの目的 このファイルは統計学において 「主義」 を心配するみなさまの ための解説です。 １ 要約 いつも 何度でも 尋ねられる 質問 頻度主義 と ベイズ主義 は どちらが正しいですか。 このファイルの回答 １ 正しい主義は 存在しません。 好きな主義と 好きな方法を 使うことができます。 推測が当たるかどうか が問題です。 このファイルの回答 ２ 推測に 「主義」 は 不要です。 推測を当てるには 数理科学 が必要です。 このファイルの回答 ３ 「主義」 を争うことに 意義はありません。 論争をやめて 数理科学 へ進みましょう。 時間がないかたに このファイルを読むのがメンドウで 結論だけを知りたいかたは 最後のページをご覧ください。 ２ 統計的推測とは 統計的推測とは 未知である真の分布から データが得られ
広く使える情報量規準(WAIC)
このページをご覧いただき、ありがとうございます。 ここでは、情報量規準 WAIC を紹介しています。 ベイズ推測のための情報量規準(WAIC)が導出されました。 WAIC は（真の分布、確率モデル、事前分布）がどのような場合でも使う ことができます。他の規準と異なり理論的な基盤を持っています。 (0) モデル選択やハイパーパラメータの最適化に使えます。 (1) 漸近的に汎化損失と同じ平均値と同じ分散を持ちます。 (2) WAIC は簡単に計算できます。 (3) 真の分布が確率モデルで実現可能でなくても使えます。事前分布が真の事前分布でなくても使えます。 (4) 平均対数損失を最小にするパラメータがユニークでなくても使えます。 平均対数損失を最小にするパラメータが特異点を含む解析的集合であっても 使えます（注１）。 (5) フィッシャー情報行列が正則でなくても使えます。 (6) 事後分布が正
最尤推定はいつなら大丈夫？
問い： 混合正規分布や神経回路網などの構造を持つ学習モデルでは 最尤推定は漸近的にも有効性を持たず、非常に大きな汎化誤差や 符号長を持つと聞いたのですが、最尤推定はいつなら大丈夫でしょうか。 答え： パラメータの集合と確率分布の集合が一対一に 対応していて、かつ、フィッシャー情報行列が逆行列を 持つ場合であれば、最尤推定は漸近正規性を持ち、 漸近有効です。このとき、非常に多くのサンプルがあれば、 具体的には、フィッシャー情報行列の最も 小さい固有値までが、はっきりと見えるくらい多くの 学習データがあれば、最尤推定量を使っても安全といえるでしょう。 尤度関数が正規分布で近似できるということが最尤推定量が安全に 使える条件です。次のことに十分に注意してください。「最尤推定が 安全に使えるかどうかは、最尤推定量を計算しただけではわからない」。 以上の条件を満たさない場合には 最尤推定量は統計的推
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
学習理論よ 何処へ
渡辺澄夫