機械学習で抑えておくべき損失関数（分類編） - HELLO CYBERNETICS
はじめに ニューラルネットワーク 損失関数を考えるモチベーション 分類の損失関数 ０−１損失関数 分類における損失関数の基本 0-1損失の問題点と代理損失 色々な損失関数 分類の損失を考える上で重要な「正解と出力の積」 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 損失関数の図示 0-1損失で図の見方を確認 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 比較 最後に モデルの方の話 実際に使う場合の話 学習の評価は「正解・不正解」だけでない 回帰における損失関数 はじめに 機械学習における教師あり学習では、入力に対してパラメータを用いて関数を構築し、正解データに対して損失を定義し、これを最小化する手続きを取ります。 損失を、色々なとの組に対して計算し、その総和が最小化されるようにを決めることを学習と呼びます。これにより未知のデータを入力した時に、それに対する正解
須山敦志 Suyama Atsushi on Twitter: "「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。"
「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。
ベイズ統計学の逆温度パラメータ - カイヤン雑記帳
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 就活エントリーが有名な方に捕捉されたりものすごくバズったりと過分な評価をいただいており，とても驚いているこの頃です． 私や私のドクトリンが評価されているのではなく，記事から就活最前線の様子を推測しやすいからこれだけ評価をいただいているに過ぎないと肝に銘じて思い上がらぬよう過ごしたいです *1． さて，今回はPeingに届いた質問に関して短く書いてみようと思います． ベイズ推定における逆温度パラメータって具体的に何を制御しているものですか？（最尤法とのつながりなどでよく出てきま | Peing -質問箱- という質問をいただきました． 質問箱では簡単に答えていますが，もう少し語らせてください． 筆者質問箱の回答 「対数尤度＋正則化項」という損失を考えると結局正則化の効果度（逆温度が大きいほど弱い正則化，無限大への極限で最尤法
PowerPoint プレゼンテーション ベイズ推論 東京工業大学 渡辺澄夫 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日 北海道大学
ベイズ推論 東京工業大学 渡辺澄夫 2016/9/15 1 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日北海道大学 この講演の目的 2 2 統計的推論が命題論理の推論と異なる点を説明し、 ベイズ推論において解明されていることの概略を述べる。 もくじ 3 3 １．統計的推論は命題論理の推論と何が違うのか ２．統計的推論では何を知りたいのか ３．予測誤差と交差検証誤差 ４．総和誤差と自由エネルギー 4 4 １．統計的推論は命題論理の推論と何が本質的に違うのか なぜ人間は「正しい統計的推論」を求めたのか 5 数学や物理学では一定の水準の厳密さにおいて 「正しい推論」というものが存在している。 → 正しいモデルで正しく推論すれば正しい結論が得られる。 → 間違った結論は間違ったモデルか推論から生まれる。 （例） 連続関数の列が一様収
8/6因果フェスのプレビュー：「系列Aと系列Bの関係は？」という問いに対する4つの素敵な解法について - Take a Risk：林岳彦の研究メモ
こんにちは。林岳彦です。エ・レ・ファ・ン・ト・カ・シ・マ・シ（←滝川クリステル風に声に出して読みたい日本語）。 さて。 今回は8月6日に迫った日本生態学会関東地区会シンポジウム（a.k.a 因果フェス）についてのプレビューを書いてみたいと思います。 今回のシンポにおける問いを一言で言うと：「系列Aと系列Bはいかなる関係か？（＊但し共変量および背景に関する情報は無いものとする＊）」 統計的因果推論というと「介入効果／措置効果の推定」のことを思い浮かべる方も多いのかもしれませんが、そのテーマは昨年に扱いました。 で、今年については本質的には以下の問いが中心になると言えるのかなと思います： 「系列Aと系列Bはいかなる関係かについて答えよ（＊但し共変量および背景に関する情報は無いものとする＊）」 はい。 これはシンプルではありますが非常に奥の深い問いです。 今回のシンポでは、この問いに対する4つの
学習の状態方程式
もどる １．概略 サンプルと学習モデルが与えられたとき、真の確率分布（サンプルを発生している分布）を推測する ことを統計的学習といいます。 推測された確率分布を用いて未知のデータを予言したときの 誤差が予測誤差であり、推測された確率分布を用いて既知のサンプルを予言したときの誤差が 学習誤差です。 予測誤差を小さくすることが学習の本当の目的ですが、予測誤差は真の確率分布がわからなければ 計算できません。学習誤差はサンプルだけから計算できますが、予測誤差とは一致しません。 もしも学習誤差から予測誤差を推測できれば、サンプルだけから未知のデータに対する予言の良さが わかるので、非常にありがたいということができます。しかしながら、予測誤差の平均値を知ることは、 統計的正則モデルでは実現されていましたが、統計的に正則ではないモデルでは 実現する方法がありませんでした。統計的に正則でないモデルはパラメ
ベイズ統計の理論と方法
ベイズ統計の理論と方法 渡辺澄夫 ベイズ統計の理論と方法、コロナ社、2012 ， アマゾンのページ この本ではベイズ統計の理論と方法を紹介しています。 ベイズ統計については良い本がたくさん出版されていますので、他の本と 合わせてお読み頂ければ幸いです。 初めてベイズ統計に出あった人はもちろん、これまでにベイズ統計について勉強を されていて、多くの疑問を持たれているかたに本書をお薦めします。 特に、ベイズ統計について『いろいろな本に○○○と書いてあるが、これは 本当のところ正しいのだろうか』と思われていることが沢山あるかたに本書を お勧めします。例えば、 Q１．なぜ事前分布を信じることができるのだろうか？ Q２．ベイズ法は数理や理論に支えられていないのだろうか？ 『百人いれば百個の推論』でよいのだろうか？ Q３．私は BIC や DIC でモデルを設計して来たが、それで本当によかったのだろう
ベイズ事後分布の相転移と数学・物理学 - 東京工業大学
ベイズ事後分布の 相転移について 渡辺澄夫 東京工業大学 相転移とは何ですか 学生のみなさまから「学習理論における相転移とは具体的に何か」という質問を いただきましたので、具体的な例について紹介します。 相転移とは データの数 n やハイパーパラメータ α を変化させたとき、ある値を境界として その前後で事後分布が急激に形を変えることにより、ベイズ自由エネルギーや 汎化損失の値がそれらのなめらかな関数でなくなることがあります。そのような 変化を相転移と呼びます。 具体例として、ここでは次の問題を考えます。 (1) データの数 n が小さいうちは真の分布の構造を詳しく知ることはできないが データの数が増えるにつれて真の分布の構造が見えてくる(構造の発見)。 (2) 事前分布を決めているハイパーパラメータを変えると事後分布が急激に 変化する点がある (「事前分布は何でもよい」ではないのです）。
情報エントロピーと熱力学エントロピー - hiroki_f’s diary
粗視化、量子消しゴム、エントロピー - hiroki_fの日記 の続き。 情報エントロピーと熱力学エントロピーは深い関係にある。しかし、統計力学の教科書を読んでもこの事を書いてあることはあまりない。 統計力学は、kをボルツマン定数として、系の持つ状態数ΩとエントロピーSに の関係があることを仮定している。 ボルツマンがこの関係を見出したことは、彼が天才であることの証だと思う。 しかし、この関係が何故成り立つのかについては、はっきりしない。 かつては、エルゴード理論などという無意味な空論がその根拠とされ、多くの統計力学の本の冒頭にはその記述がある。苦し紛れの議論で、真面目に考えるとおかしな結論を導き出す。 統計力学では、 が成り立っていることは、暗黙の了解なのだけれど、熱力学との整合性を期待すると、状態数Ωに強い制約を与える。その制約を根拠なしに、状態数が全て満たすというのはまさに驚異だ。
【訓練誤差と汎化誤差】学習・統計的推定は正しいのか？【過学習】 - HELLO CYBERNETICS
はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング（採取） 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 （補足）ベイズ推論 理論的な学習の評価 これまでの話との関連 汎化誤差の近似 最後に はじめに 機械学習、統計分析に少しでも触れたことのある方は「過学習」という言葉を聞いたことがあるでしょう。 データに対してパラメータをうまくフィッティング させすぎている場合 に生ずる現象です。 過学習が起こらないように上手に正則化などを用いて、学習できる能力を制限したり、日夜ハイパーパラメータの調整に明け暮れている人もいるかもしれません。今回は訓練誤差と汎化誤差という2つの誤差をしっかりと理解して、なぜに過学習なるものが起こるのかを見ていきます。 そうすることで、普段行っている「学習」であるとか「推定」であ
ベイズ統計学の概論的紹介
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す
チェビシェフの不等式のかんたん理解 - 小人さんの妄想
どのような標本・確率分布でも・・・平均から 2標準偏差以上離れた値は全体の 1/4 を超えることはなく、 一般にn標準偏差以上離れた値は全体の を超えることはない。 >> wikipedia:チェビシェフの不等式 より. 式で表すと、 P() は、カッコの中が成り立つ確率、という意味。 μは平均。|x-μ| は、個々のデータの値と平均との偏差のこと。 σ は標準偏差。 a には任意の数を当てはめることができる。 * そんなの常識、あたりまえでない大数の法則 >> http://miku.motion.ne.jp/stories/08_LargeNum.html このように書くと何だかとても難しいことのように思えますが、実はアタリマエのことを言っているに過ぎません。 ● 最も単純な標準偏差１の分布 最も単純な標準偏差１の分布は、データが +1と -1の、２個だけというものでしょう。 標準偏差
超曖昧語「母集団」「標本」にケリをつける - 檜山正幸のキマイラ飼育記 (はてなBlog)
曖昧・多義的に使われている専門用語は全然珍しくありません。確率・統計の分野でも、たくさんの曖昧語・多義語が登場します。そのなかでも、特に曖昧性がひどく、意味不明の四天王だと僕が思っている言葉は、 確率変数 分布 母集団 標本 です。どれも手強くて、「四天王の中でも最弱」とか「最強」とかの順位付けは難しいです。 *1 「確率変数」については何度も話題にしています。2つだけ過去記事を選ぶなら： 「確率変数」と言うのはやめよう 「確率変数」の正体は米田埋め込み 「分布」に関しては： 確率・統計の「分布」の意味と使用法 心が安らぐ「分布の空間」を定義してみる 今回この記事では、残る2つの超曖昧語「母集団」「標本」について、出来る限りの解明を試みます。中心的話題は、「標本」に対するまったくかけ離れた2つの定義を結びつけることです。2つの定義を結びつけるために、「独立ベキ測度の前送り定理」を紹介します
カルバック・ライブラー情報量 - Wikipedia
カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、英: Kullback–Leibler divergence）は2つの確率分布の差異を計る尺度である。 確率論と情報理論で利用され様々な呼び名がある。以下はその一例である： カルバック・ライブラー・ダイバージェンス（KLダイバージェンス） 情報ダイバージェンス（英: information divergence） 情報利得（英: information gain） 相対エントロピー（英: relative entropy） カルバック・ライブラー距離 だたしこの計量は距離の公理を満たさないので、数学的な意味での距離ではない。 応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。たとえば P はデータ、観測値、正確に計算で求められた確率分布などを表し、Q
偏り - Wikipedia
偏り（かたより）またはバイアス（英: bias）とは、統計学で2つの異なる意味に用いられる。 標本の偏りとは、母集団の要素が標本として平等に選ばれていないと考えられる場合をいう。 推定量の偏りとは、推定すべき量を何らかの理由で高く、または低く推定しすぎている場合をいう。 偏りという用語は悪い意味に聞こえるが、必ずしもそうではない。偏った標本は悪いものだが、偏った推定量のよしあしは状況による。 偏りがないことを不偏（ふへん、英: unbiased）と言う。 標本の偏り[編集] 母集団の一部の要素が他よりも標本として選ばれやすい場合に、標本に偏りがあるという。偏った標本は一般に誤った推定量を与える。推定する量が高い、または低いような要素が標本に多く含まれていれば結果は本当の値とは違ってしまう。 有名な例に1936年のアメリカ大統領選の予想がある。Literary Digest誌は200万人の調
最大エントロピー原理 - Wikipedia
最大エントロピー原理（さいだいエントロピーげんり、英: principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（最大エントロピー熱力学（英語版））を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。 概要[編集] 今確率変数 X について、X が条件 I を満たす事だけが分かっており、それ以外に X に関して何1つ知らなかったとする。このとき、X が従う分布はどのようなものである
ダイバージェンス関数を数学の立場から概観 - HELLO CYBERNETICS
機械学習で現れるダイバージェンスといえばご存知KLダイバージェンスがあります。 KLダイバージェンスは学習をする際の評価関数として用いられることもありますが、二乗誤差などに比べ、なぜにこの関数が評価関数として妥当なのか納得しづらいところです。 今回は数学的な立場からダイバージェンス関数について眺めてみて、これが学習の評価基準として選ばれうることを見てみたいと思います。 情報量から見たKLダイバージェンスの記事 近さを測る 評価基準と空間 評価基準と座標の選び方 ダイバージェンスとは 近さを測るものさし 近さを測るとは 確率分布族の空間 確率分布同士の近さを図で測る 直線的に分離度を測ることを諦める 局所的にはユークリッド空間：多様体 数学的な立場において なぜKLダイバージェンスが有効なダイバージェンスと言えるのか 不変性の要請 ダイバージェンス EMアルゴリズム 参考文献 情報量から見た
)
モーメント (数学) - Wikipedia
この項目では、数学のモーメントについて説明しています。確率論のモーメントについては「モーメント (確率論)」を、物理量のモーメントについては「モーメント」をご覧ください。 数学の確率論および関係した諸分野におけるモーメント (moment) または積率（せきりつ）とは、物理学におけるモーメントを抽象化した概念である。 実変数 x に関する関数 f(x) の n 次モーメント は、 で表される。妥当な仮定の下で高次モーメント全ての値から関数 f(x) は一意に決定される。 は f を密度関数とする測度の重心を表している。 関数 f(x) の c 周りの n 次モーメント は、 で表される。 重心周りのモーメント μn = μ(μ)n を中心モーメントまたは中心化モーメントといい、こちらを単にモーメントということもある。 確率分布のモーメント[編集] 確率密度関数 f(x) のモーメントには、
従来の推定法とベイズ推定法の違い | Sunny side up!
ベイズ推定って、最近はやってきてますね。僕も流行りにおいて行かれないように勉強しています。 理論的な話や数学的な話はいろいろWebや本をあされば出てきますが、実用面とか解釈面について言及しているものは少ないですね。 今回は清水の個人的な意見として、ベイズがどういう風に使えそうか書いてみます。数学的な話はなしで。よくわからないので。 興味ある人は続きをどうぞ。 2016/2/1追記：ベイズ統計について，入門的な資料を作りました。心理学者のためのベイズ統計入門もあわせてどうぞ。 ベイズ推定法の前に、従来法の代表として最尤推定法について触れておきます。 その方法とベイズがどう違うのかについて、そのあと述べます。 最尤推定法 最尤法ともいわれますが、基本的な発想は、モデルとデータの関係を次のように考えます。 真のモデルというのがあって、我々はそのモデルから発生したデータを手に入れている。真値は一つ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Katsushi Kagaya on Twitter: "個人的には同時分布も英語に合わせて結合分布といったほうが時間的意味が入ってなくていいなと思ってる。"