『グラフニューラルネットワーク』を上梓しました - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 講談社より『グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）』を上梓しました。 グラフニューラルネットワークはグラフデータのためのニューラルネットワークです。化合物やソーシャルネットワークのようなグラフデータの解析に使うことができます。また後で述べるように、テキストも画像もグラフなのでテキストや画像の分析にも使えますし、それらを組み合わせたマルチモーダルなデータにも適用できます。要は何にでも使うことができます。この汎用性がグラフニューラルネットワークの大きな強みです。 本稿ではグラフニューラルネットワークを学ぶモチベーションと、本書でこだわったポイントをご紹介します。 グラフニューラルネットワークは何にでも使える 付加情報をグラフとして表現できる グラフニューラルネッ
Zero's World: Taxonomy - 類似性と「みにくいアヒルの子の定理」
類似性と「みにくいアヒルの子の定理」 小野山 敬一 １．はじめに 類似性 similarity は対象間の関係を見るひとつの方法であり，しばしば分類における基準となるもので，それによって事物のグルーピングが行なわれたりするものである．一方，「みにくいアヒルの子の定理」（the theorem of the ugly duckling）は，形質を同等に評価した場合には類似性にもとづく分類がありえないこと，したがって客観的な分類がありえないことを示すものと解釈されている． 「みにくいアヒルの子の定理」はWatanabeが1961年にAAAS annual meetingで言及し，1962年ブラッセルでの講演で厳密な証明を与えた．後者はWatanabe (1965) に収録されている．その後，渡辺自身は，Watanabe (1969) や渡辺（1978，1986）で取り上げているが，他の著者が言
機械学習で抑えておくべき損失関数（分類編） - HELLO CYBERNETICS
はじめに ニューラルネットワーク 損失関数を考えるモチベーション 分類の損失関数 ０−１損失関数 分類における損失関数の基本 0-1損失の問題点と代理損失 色々な損失関数 分類の損失を考える上で重要な「正解と出力の積」 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 損失関数の図示 0-1損失で図の見方を確認 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 比較 最後に モデルの方の話 実際に使う場合の話 学習の評価は「正解・不正解」だけでない 回帰における損失関数 はじめに 機械学習における教師あり学習では、入力に対してパラメータを用いて関数を構築し、正解データに対して損失を定義し、これを最小化する手続きを取ります。 損失を、色々なとの組に対して計算し、その総和が最小化されるようにを決めることを学習と呼びます。これにより未知のデータを入力した時に、それに対する正解
須山敦志 Suyama Atsushi on Twitter: "「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。"
「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。
PowerPoint プレゼンテーション ベイズ推論 東京工業大学 渡辺澄夫 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日 北海道大学
ベイズ推論 東京工業大学 渡辺澄夫 2016/9/15 1 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日北海道大学 この講演の目的 2 2 統計的推論が命題論理の推論と異なる点を説明し、 ベイズ推論において解明されていることの概略を述べる。 もくじ 3 3 １．統計的推論は命題論理の推論と何が違うのか ２．統計的推論では何を知りたいのか ３．予測誤差と交差検証誤差 ４．総和誤差と自由エネルギー 4 4 １．統計的推論は命題論理の推論と何が本質的に違うのか なぜ人間は「正しい統計的推論」を求めたのか 5 数学や物理学では一定の水準の厳密さにおいて 「正しい推論」というものが存在している。 → 正しいモデルで正しく推論すれば正しい結論が得られる。 → 間違った結論は間違ったモデルか推論から生まれる。 （例） 連続関数の列が一様収
学習の状態方程式
もどる １．概略 サンプルと学習モデルが与えられたとき、真の確率分布（サンプルを発生している分布）を推測する ことを統計的学習といいます。 推測された確率分布を用いて未知のデータを予言したときの 誤差が予測誤差であり、推測された確率分布を用いて既知のサンプルを予言したときの誤差が 学習誤差です。 予測誤差を小さくすることが学習の本当の目的ですが、予測誤差は真の確率分布がわからなければ 計算できません。学習誤差はサンプルだけから計算できますが、予測誤差とは一致しません。 もしも学習誤差から予測誤差を推測できれば、サンプルだけから未知のデータに対する予言の良さが わかるので、非常にありがたいということができます。しかしながら、予測誤差の平均値を知ることは、 統計的正則モデルでは実現されていましたが、統計的に正則ではないモデルでは 実現する方法がありませんでした。統計的に正則でないモデルはパラメ
ベイズ統計の理論と方法
ベイズ統計の理論と方法 渡辺澄夫 ベイズ統計の理論と方法、コロナ社、2012 ， アマゾンのページ この本ではベイズ統計の理論と方法を紹介しています。 ベイズ統計については良い本がたくさん出版されていますので、他の本と 合わせてお読み頂ければ幸いです。 初めてベイズ統計に出あった人はもちろん、これまでにベイズ統計について勉強を されていて、多くの疑問を持たれているかたに本書をお薦めします。 特に、ベイズ統計について『いろいろな本に○○○と書いてあるが、これは 本当のところ正しいのだろうか』と思われていることが沢山あるかたに本書を お勧めします。例えば、 Q１．なぜ事前分布を信じることができるのだろうか？ Q２．ベイズ法は数理や理論に支えられていないのだろうか？ 『百人いれば百個の推論』でよいのだろうか？ Q３．私は BIC や DIC でモデルを設計して来たが、それで本当によかったのだろう
ベイズ事後分布の相転移と数学・物理学 - 東京工業大学
ベイズ事後分布の 相転移について 渡辺澄夫 東京工業大学 相転移とは何ですか 学生のみなさまから「学習理論における相転移とは具体的に何か」という質問を いただきましたので、具体的な例について紹介します。 相転移とは データの数 n やハイパーパラメータ α を変化させたとき、ある値を境界として その前後で事後分布が急激に形を変えることにより、ベイズ自由エネルギーや 汎化損失の値がそれらのなめらかな関数でなくなることがあります。そのような 変化を相転移と呼びます。 具体例として、ここでは次の問題を考えます。 (1) データの数 n が小さいうちは真の分布の構造を詳しく知ることはできないが データの数が増えるにつれて真の分布の構造が見えてくる(構造の発見)。 (2) 事前分布を決めているハイパーパラメータを変えると事後分布が急激に 変化する点がある (「事前分布は何でもよい」ではないのです）。
ベイズ推論による機械学習の基本 - 作って遊ぶ機械学習。
今回は基本的なベイズ学習の概念と流れを説明したいと思います。まず始めに、ベイズ学習のすべての基本となる２つの計算規則（和の規則、積の規則）を取り上げます。また、ベイズ学習に関わるややこしい用語たち（データ、尤度関数、事前分布、事後分布、エビデンス、予測分布、などなど）に関しても念のためここで整理しておきたいと思います。そして最後に、簡単な多次元のガウス分布とウィシャート分布を使ったベイズ推論の例を取り上げ、それぞれの用語や概念との具体的な結びつきについて触れたいと思っています。 ・ベイズ学習の基本概念 さて、確率モデルを使ったベイズ推論を行う上で最小限必要なのは次のたった２つの計算ルールです。 <和の規則> <積の規則> は同時分布（joint distribution）、は条件付き分布（conditional distribution）と呼ぶんでした。極端な言い方をしてしまうと、ベイズ推
【訓練誤差と汎化誤差】学習・統計的推定は正しいのか？【過学習】 - HELLO CYBERNETICS
はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング（採取） 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 （補足）ベイズ推論 理論的な学習の評価 これまでの話との関連 汎化誤差の近似 最後に はじめに 機械学習、統計分析に少しでも触れたことのある方は「過学習」という言葉を聞いたことがあるでしょう。 データに対してパラメータをうまくフィッティング させすぎている場合 に生ずる現象です。 過学習が起こらないように上手に正則化などを用いて、学習できる能力を制限したり、日夜ハイパーパラメータの調整に明け暮れている人もいるかもしれません。今回は訓練誤差と汎化誤差という2つの誤差をしっかりと理解して、なぜに過学習なるものが起こるのかを見ていきます。 そうすることで、普段行っている「学習」であるとか「推定」であ
最尤推定、MAP推定、ベイズ推論 - 作って遊ぶ機械学習。
今回は、最尤推定、MAP推定（事後確率最大化推定、正則化）、ベイズ推論*1の関係性を見ていきたいと思います。結論から言うと、最尤推定とMAP推定はベイズ推論の特殊な近似方法であると見ることができます。 [必要な知識] 下記をさらっとだけ確認しておくといいです。 KL divergence 確率の加法定理、乗法定理 \[ \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} \] $x$を観測データ、$\theta$をパラメータとした確率モデル$p(x, \theta)$に対して、それぞれの推定方法は一般的には下記のように認識されているようです。 ・最尤推定 \[ \theta_{ML} = \argmax_{\theta} \{ p(x|\the
機械学習モデルの判断根拠の説明
第20回ステアラボ人工知能セミナー https://stair.connpass.com/event/109983/ 【講演動画】 https://youtu.be/Fgza_C6KphU 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演の前半ではまず近年の代表的な研究について紹介する。後半では、発表者の最近の研究として「ランダムフォレストの簡略化」と「モデル列挙」について紹介する。Read less
カルバック・ライブラー情報量 - Wikipedia
カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、英: Kullback–Leibler divergence）は2つの確率分布の差異を計る尺度である。 確率論と情報理論で利用され様々な呼び名がある。以下はその一例である： カルバック・ライブラー・ダイバージェンス（KLダイバージェンス） 情報ダイバージェンス（英: information divergence） 情報利得（英: information gain） 相対エントロピー（英: relative entropy） カルバック・ライブラー距離 だたしこの計量は距離の公理を満たさないので、数学的な意味での距離ではない。 応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。たとえば P はデータ、観測値、正確に計算で求められた確率分布などを表し、Q
conv00.dvi
½ � Ê � � � Ê �� � � ��� ��� � ��� � � ������ � ����� �� � � � � � � � � �� � � ��� ��� � ��� � � ������ � ����� �� � � � � � �� � � ��� ��� � ��� � � ������ � ����� �� � � � � � � � � �� � � ��� ��� � ��� � � ������ � ����� �� � � � � � � Ê ���� � ��� � � � � �� � �� � �� � �� � � � � � � ��� �� � � � ��� � � � �� ��� � � � ����� � � �� � � � �� � � ��� � � � � � � � � � � � � � �� � �� � �� � ��
ダイバージェンス関数を数学の立場から概観 - HELLO CYBERNETICS
機械学習で現れるダイバージェンスといえばご存知KLダイバージェンスがあります。 KLダイバージェンスは学習をする際の評価関数として用いられることもありますが、二乗誤差などに比べ、なぜにこの関数が評価関数として妥当なのか納得しづらいところです。 今回は数学的な立場からダイバージェンス関数について眺めてみて、これが学習の評価基準として選ばれうることを見てみたいと思います。 情報量から見たKLダイバージェンスの記事 近さを測る 評価基準と空間 評価基準と座標の選び方 ダイバージェンスとは 近さを測るものさし 近さを測るとは 確率分布族の空間 確率分布同士の近さを図で測る 直線的に分離度を測ることを諦める 局所的にはユークリッド空間：多様体 数学的な立場において なぜKLダイバージェンスが有効なダイバージェンスと言えるのか 不変性の要請 ダイバージェンス EMアルゴリズム 参考文献 情報量から見た
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人工知能は「音楽」なのかもしれない：“AIの父”マーヴィン・ミンスキーが残した謎
子供の言語獲得と機械の言語獲得