機械学習で抑えておくべき損失関数（分類編） - HELLO CYBERNETICS
はじめに ニューラルネットワーク 損失関数を考えるモチベーション 分類の損失関数 ０−１損失関数 分類における損失関数の基本 0-1損失の問題点と代理損失 色々な損失関数 分類の損失を考える上で重要な「正解と出力の積」 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 損失関数の図示 0-1損失で図の見方を確認 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 比較 最後に モデルの方の話 実際に使う場合の話 学習の評価は「正解・不正解」だけでない 回帰における損失関数 はじめに 機械学習における教師あり学習では、入力に対してパラメータを用いて関数を構築し、正解データに対して損失を定義し、これを最小化する手続きを取ります。 損失を、色々なとの組に対して計算し、その総和が最小化されるようにを決めることを学習と呼びます。これにより未知のデータを入力した時に、それに対する正解
須山敦志 Suyama Atsushi on Twitter: "「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。"
「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。
ベイズ統計学の逆温度パラメータ - カイヤン雑記帳
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 就活エントリーが有名な方に捕捉されたりものすごくバズったりと過分な評価をいただいており，とても驚いているこの頃です． 私や私のドクトリンが評価されているのではなく，記事から就活最前線の様子を推測しやすいからこれだけ評価をいただいているに過ぎないと肝に銘じて思い上がらぬよう過ごしたいです *1． さて，今回はPeingに届いた質問に関して短く書いてみようと思います． ベイズ推定における逆温度パラメータって具体的に何を制御しているものですか？（最尤法とのつながりなどでよく出てきま | Peing -質問箱- という質問をいただきました． 質問箱では簡単に答えていますが，もう少し語らせてください． 筆者質問箱の回答 「対数尤度＋正則化項」という損失を考えると結局正則化の効果度（逆温度が大きいほど弱い正則化，無限大への極限で最尤法
PowerPoint プレゼンテーション ベイズ推論 東京工業大学 渡辺澄夫 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日 北海道大学
ベイズ推論 東京工業大学 渡辺澄夫 2016/9/15 1 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日北海道大学 この講演の目的 2 2 統計的推論が命題論理の推論と異なる点を説明し、 ベイズ推論において解明されていることの概略を述べる。 もくじ 3 3 １．統計的推論は命題論理の推論と何が違うのか ２．統計的推論では何を知りたいのか ３．予測誤差と交差検証誤差 ４．総和誤差と自由エネルギー 4 4 １．統計的推論は命題論理の推論と何が本質的に違うのか なぜ人間は「正しい統計的推論」を求めたのか 5 数学や物理学では一定の水準の厳密さにおいて 「正しい推論」というものが存在している。 → 正しいモデルで正しく推論すれば正しい結論が得られる。 → 間違った結論は間違ったモデルか推論から生まれる。 （例） 連続関数の列が一様収
8/6因果フェスのプレビュー：「系列Aと系列Bの関係は？」という問いに対する4つの素敵な解法について - Take a Risk：林岳彦の研究メモ
こんにちは。林岳彦です。エ・レ・ファ・ン・ト・カ・シ・マ・シ（←滝川クリステル風に声に出して読みたい日本語）。 さて。 今回は8月6日に迫った日本生態学会関東地区会シンポジウム（a.k.a 因果フェス）についてのプレビューを書いてみたいと思います。 今回のシンポにおける問いを一言で言うと：「系列Aと系列Bはいかなる関係か？（＊但し共変量および背景に関する情報は無いものとする＊）」 統計的因果推論というと「介入効果／措置効果の推定」のことを思い浮かべる方も多いのかもしれませんが、そのテーマは昨年に扱いました。 で、今年については本質的には以下の問いが中心になると言えるのかなと思います： 「系列Aと系列Bはいかなる関係かについて答えよ（＊但し共変量および背景に関する情報は無いものとする＊）」 はい。 これはシンプルではありますが非常に奥の深い問いです。 今回のシンポでは、この問いに対する4つの
学習の状態方程式
もどる １．概略 サンプルと学習モデルが与えられたとき、真の確率分布（サンプルを発生している分布）を推測する ことを統計的学習といいます。 推測された確率分布を用いて未知のデータを予言したときの 誤差が予測誤差であり、推測された確率分布を用いて既知のサンプルを予言したときの誤差が 学習誤差です。 予測誤差を小さくすることが学習の本当の目的ですが、予測誤差は真の確率分布がわからなければ 計算できません。学習誤差はサンプルだけから計算できますが、予測誤差とは一致しません。 もしも学習誤差から予測誤差を推測できれば、サンプルだけから未知のデータに対する予言の良さが わかるので、非常にありがたいということができます。しかしながら、予測誤差の平均値を知ることは、 統計的正則モデルでは実現されていましたが、統計的に正則ではないモデルでは 実現する方法がありませんでした。統計的に正則でないモデルはパラメ
ベイズ統計の理論と方法
ベイズ統計の理論と方法 渡辺澄夫 ベイズ統計の理論と方法、コロナ社、2012 ， アマゾンのページ この本ではベイズ統計の理論と方法を紹介しています。 ベイズ統計については良い本がたくさん出版されていますので、他の本と 合わせてお読み頂ければ幸いです。 初めてベイズ統計に出あった人はもちろん、これまでにベイズ統計について勉強を されていて、多くの疑問を持たれているかたに本書をお薦めします。 特に、ベイズ統計について『いろいろな本に○○○と書いてあるが、これは 本当のところ正しいのだろうか』と思われていることが沢山あるかたに本書を お勧めします。例えば、 Q１．なぜ事前分布を信じることができるのだろうか？ Q２．ベイズ法は数理や理論に支えられていないのだろうか？ 『百人いれば百個の推論』でよいのだろうか？ Q３．私は BIC や DIC でモデルを設計して来たが、それで本当によかったのだろう
ベイズ事後分布の相転移と数学・物理学 - 東京工業大学
ベイズ事後分布の 相転移について 渡辺澄夫 東京工業大学 相転移とは何ですか 学生のみなさまから「学習理論における相転移とは具体的に何か」という質問を いただきましたので、具体的な例について紹介します。 相転移とは データの数 n やハイパーパラメータ α を変化させたとき、ある値を境界として その前後で事後分布が急激に形を変えることにより、ベイズ自由エネルギーや 汎化損失の値がそれらのなめらかな関数でなくなることがあります。そのような 変化を相転移と呼びます。 具体例として、ここでは次の問題を考えます。 (1) データの数 n が小さいうちは真の分布の構造を詳しく知ることはできないが データの数が増えるにつれて真の分布の構造が見えてくる(構造の発見)。 (2) 事前分布を決めているハイパーパラメータを変えると事後分布が急激に 変化する点がある (「事前分布は何でもよい」ではないのです）。
情報エントロピーと熱力学エントロピー - hiroki_f’s diary
粗視化、量子消しゴム、エントロピー - hiroki_fの日記 の続き。 情報エントロピーと熱力学エントロピーは深い関係にある。しかし、統計力学の教科書を読んでもこの事を書いてあることはあまりない。 統計力学は、kをボルツマン定数として、系の持つ状態数ΩとエントロピーSに の関係があることを仮定している。 ボルツマンがこの関係を見出したことは、彼が天才であることの証だと思う。 しかし、この関係が何故成り立つのかについては、はっきりしない。 かつては、エルゴード理論などという無意味な空論がその根拠とされ、多くの統計力学の本の冒頭にはその記述がある。苦し紛れの議論で、真面目に考えるとおかしな結論を導き出す。 統計力学では、 が成り立っていることは、暗黙の了解なのだけれど、熱力学との整合性を期待すると、状態数Ωに強い制約を与える。その制約を根拠なしに、状態数が全て満たすというのはまさに驚異だ。
ベイズ推論による機械学習の基本 - 作って遊ぶ機械学習。
今回は基本的なベイズ学習の概念と流れを説明したいと思います。まず始めに、ベイズ学習のすべての基本となる２つの計算規則（和の規則、積の規則）を取り上げます。また、ベイズ学習に関わるややこしい用語たち（データ、尤度関数、事前分布、事後分布、エビデンス、予測分布、などなど）に関しても念のためここで整理しておきたいと思います。そして最後に、簡単な多次元のガウス分布とウィシャート分布を使ったベイズ推論の例を取り上げ、それぞれの用語や概念との具体的な結びつきについて触れたいと思っています。 ・ベイズ学習の基本概念 さて、確率モデルを使ったベイズ推論を行う上で最小限必要なのは次のたった２つの計算ルールです。 <和の規則> <積の規則> は同時分布（joint distribution）、は条件付き分布（conditional distribution）と呼ぶんでした。極端な言い方をしてしまうと、ベイズ推
【訓練誤差と汎化誤差】学習・統計的推定は正しいのか？【過学習】 - HELLO CYBERNETICS
はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング（採取） 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 （補足）ベイズ推論 理論的な学習の評価 これまでの話との関連 汎化誤差の近似 最後に はじめに 機械学習、統計分析に少しでも触れたことのある方は「過学習」という言葉を聞いたことがあるでしょう。 データに対してパラメータをうまくフィッティング させすぎている場合 に生ずる現象です。 過学習が起こらないように上手に正則化などを用いて、学習できる能力を制限したり、日夜ハイパーパラメータの調整に明け暮れている人もいるかもしれません。今回は訓練誤差と汎化誤差という2つの誤差をしっかりと理解して、なぜに過学習なるものが起こるのかを見ていきます。 そうすることで、普段行っている「学習」であるとか「推定」であ
最尤推定、MAP推定、ベイズ推論 - 作って遊ぶ機械学習。
今回は、最尤推定、MAP推定（事後確率最大化推定、正則化）、ベイズ推論*1の関係性を見ていきたいと思います。結論から言うと、最尤推定とMAP推定はベイズ推論の特殊な近似方法であると見ることができます。 [必要な知識] 下記をさらっとだけ確認しておくといいです。 KL divergence 確率の加法定理、乗法定理 \[ \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} \] $x$を観測データ、$\theta$をパラメータとした確率モデル$p(x, \theta)$に対して、それぞれの推定方法は一般的には下記のように認識されているようです。 ・最尤推定 \[ \theta_{ML} = \argmax_{\theta} \{ p(x|\the
ベイズ統計学の概論的紹介
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す
ベイズ確率論、ジェイコブス達の新しい風 - 檜山正幸のキマイラ飼育記 (はてなBlog)
バート・ジェイコブスとコラボレーター達は、現状のベイズ確率論で使われている概念・用語・記法とは異なる、完全に新しい概念・用語・記法を提案しています。悪しき風習やしがらみを断ち切って、理論をリフォーミュレートしたのです。 従来のやり方に慣れている方は、彼らのスタイルに強い違和感を持つかもしれません。しかし、白紙で考えれば、とても使いやすいものです。僕は、ジェイコブス・スタイルを若干アレンジして使っているのですが、ほんとに気持ちよくて、従来方式に戻る気にはなれません。 今日は、その内容の詳細までは解説しませんが、基本概念だけに絞って雰囲気を紹介します（それでもけっこうな長さになりました）。 内容： ベイズ確率論を整理して再構成する 状態変換子と述語変換子 確率的状態 確率的状態変換子とチャンネル チャンネルについてもう少し 状態とチャンネルの実例 ファジー述語 ベイズ論理／ベイズ計算に向けて
チェビシェフの不等式のかんたん理解 - 小人さんの妄想
どのような標本・確率分布でも・・・平均から 2標準偏差以上離れた値は全体の 1/4 を超えることはなく、 一般にn標準偏差以上離れた値は全体の を超えることはない。 >> wikipedia:チェビシェフの不等式 より. 式で表すと、 P() は、カッコの中が成り立つ確率、という意味。 μは平均。|x-μ| は、個々のデータの値と平均との偏差のこと。 σ は標準偏差。 a には任意の数を当てはめることができる。 * そんなの常識、あたりまえでない大数の法則 >> http://miku.motion.ne.jp/stories/08_LargeNum.html このように書くと何だかとても難しいことのように思えますが、実はアタリマエのことを言っているに過ぎません。 ● 最も単純な標準偏差１の分布 最も単純な標準偏差１の分布は、データが +1と -1の、２個だけというものでしょう。 標準偏差
超曖昧語「母集団」「標本」にケリをつける - 檜山正幸のキマイラ飼育記 (はてなBlog)
曖昧・多義的に使われている専門用語は全然珍しくありません。確率・統計の分野でも、たくさんの曖昧語・多義語が登場します。そのなかでも、特に曖昧性がひどく、意味不明の四天王だと僕が思っている言葉は、 確率変数 分布 母集団 標本 です。どれも手強くて、「四天王の中でも最弱」とか「最強」とかの順位付けは難しいです。 *1 「確率変数」については何度も話題にしています。2つだけ過去記事を選ぶなら： 「確率変数」と言うのはやめよう 「確率変数」の正体は米田埋め込み 「分布」に関しては： 確率・統計の「分布」の意味と使用法 心が安らぐ「分布の空間」を定義してみる 今回この記事では、残る2つの超曖昧語「母集団」「標本」について、出来る限りの解明を試みます。中心的話題は、「標本」に対するまったくかけ離れた2つの定義を結びつけることです。2つの定義を結びつけるために、「独立ベキ測度の前送り定理」を紹介します
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Katsushi Kagaya on Twitter: "個人的には同時分布も英語に合わせて結合分布といったほうが時間的意味が入ってなくていいなと思ってる。"
『「確率」についてご指摘いただきました｜深沢真太郎 ビジネス数学教育家／明治大学客員研究員／累計25万部作家』へのコメント
imset による条件付き独立性の記述（文献紹介）
http://park.itc.u-tokyo.ac.jp/atstat/CREST/120601-tokyo/slide/120601-tanaka-slide.pdf