慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
ふと思い立ってこんなアンケートを取ってみたのでした。 頻度主義統計学における「95%信頼区間」の95%というのは、以下のどちらだと思いますか— TJO (@TJO_datasci) 2021年7月16日 結果は物の見事に真っ二つで、95%信頼区間の「95%」を「確率」だと認識している人と、「割合」だと認識している人とが、ほぼ同数になりました。いかに信頼区間という概念が理解しにくい代物であるかが良く分かる気がします。 ということで、種明かしも兼ねて95%信頼区間の「95%」が一体何を意味するのかを適当に文献を引きながら簡単に論じてみようと思います。なお文献の選択とその引用及び解釈には万全を期しているつもりですが、肝心の僕自身が勘違いしている可能性もありますので、何かしら誤りや説明不足の点などありましたらご指摘くださると有難いです。 頻度主義において、95%信頼区間の「95%」は「割合」を指す
こんにちは，株式会社Nospare・千葉大学の小林です．本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します．この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています． 8つのアイデア 反事実（counterfactual）に基づく因果推論 ブートストラップとシミュレーションに基づいた推論 オーバーパラメータ（overparameterized）モデルと正則化（ガウス過程，Lasso, horseshoe, ベイズnonparametric priorなど） ベイズマルチレベル（階層）モデル 汎用的な計算アルゴリズム（EM, MCMC, SMC, HMC, 変分法など） 適応的決定分析（ベイズ最
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま
＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心
本記事は，自然言語処理 Advent Calendar 2019 - Qiita です． はじめに 本記事ではトピックモデルと呼ばれるモデル・分野の中で最も有名なLatent Dirchlet Allocation, 通称LDA*1 とその周りのトピックモデルに関して,どんな資料があるのか？,どういった研究があるのか? といったことに主眼をおいてトピックモデルの研究とかを昔していた私の独断と偏見によるリストアップを行いました. 私の頭は2017年くらいで止まっているので、間違っている点があったり、今の主流とは異なる可能性もありますが、 暖かくご指摘いただけると助かります. Latent Dirchlet Allocation[Blei+,03]を始めとするトピックモデルを学ぶに当たって 何が参考になるのか どういった研究があるのか？ 実際にどうやって使うのか？(まだ出来てないよ・・・) と
推薦システムの勉強をちょっとずつ再開している関連で、トピックモデルを勉強してみようと思い、こちらを購入しました。 トピックモデル (機械学習プロフェッショナルシリーズ) 作者:岩田 具治出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー） 今回はこちらを読んで勉強したことのメモです。 トピックモデル is なに？ モデル化でやりたいこと ユニグラム／混合ユニグラムモデル トピックモデルの生成過程 トピックモデル一巡り トピック is なに？ 具体的な中身について 実際には何を定めればよいか ：トピックごとの単語分布 最尤推定 Map推定（最大事後確率推定） ベイズ推定 混合モデルが含まれたときの単語分布 EMアルゴリズム 変分ベイズ推定 ギブスサンプリング その他、参考にした記事 感想 トピックモデル is なに？ 定義を確認します。 トピックモデルは
本記事の内容は新ブログに移行されました。 新しい記事へ こちらのブログにコメントをいただいても ご返信が遅れてしまう場合がございます。 予めご了承ください。 ご質問やフィードバックは 上記サイトへお願い致します。 今回は，確率モデルの潜在変数・パラメータの事後分布を求めるための繰り返し近似法である変分ベイズ法（Variational Bayesian methods）の解説とPythonで実装する方法をお伝えしていこうと思います。 本記事はpython実践講座シリーズの内容になります。その他の記事は，こちらの「Python入門講座/実践講座まとめ」をご覧ください。また，本記事の実装はPRML「パターン認識と機械学習＜第10章＞」に基づいています。演習問題は当サイトにて簡単に解答を載せていますので，参考にしていただければと思います。 【目次ページ】PRML演習問題解答を全力で分かりやすく解説
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 本記事はIQ1 Advent Calendar 2019（主催者 id:chakku000 ）における12月9日の記事です． 参考：IQ1 Advent Calendar 2018 2018/12/11の拙著記事「IQが1のデータ分析：respects いつも何度でも尋ねられること」 おことわり 今回は，ベイズ推論の特異学習理論（Watanabe理論，W理論）についての記事です．IQ1なので数学的に厳密な書き方でないどころか数式が登場しませんのでご了承ください． また，IQ1なために各論文を肯定的に読んでいます（理論が中心の紹介ですが一部の数値実験についても）．クリティカルリーディング要素はありません．申し訳ありません． よりおことわりらしいおことわりはIQ1AdCの雰囲気をぶち壊すので折り畳みます． IQ1AdCそのもの
【Python実装】LDAのトピックをParticle Filter（SMC）で推論 - ガシンラーニング
今回は、LDA（Latent Dirichlet Allocation）の逐次モンテカルロ法（Sequential Monte Calro）であるパーティクルフィルター（Particle Filter）によるトピック推論をPythonで実装しました。 コードは全てgithubに載せています。githubはこちら Twitterフォローよろしくお願いいたします。twitterはこちら 以下の書籍3.5章とこの書籍が参照している元論文を参考にしました。 Online Inference of Topics with Latent Dirichlet Allocation [Canini 2009]こちら こちらの書籍はトピックモデルに限らずベイズモデリング推論の良書です。 トピックモデルによる統計的潜在意味解析 (自然言語処理シリーズ) 作者: 佐藤一誠,奥村学 出版社/メーカー: コロナ社
[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス
原文の総文字数15万字超え！生成AI研究の歴史をまとめた論文をChatGPTを使って翻訳しました。ところどころ日本語がおかしいところもありますが、15万もの文字翻訳するのめんどくさい！という方、参考程度にご覧ください。ポイントだけ読み進めるとサクッと把握できます。 こちらの翻訳です 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。 脚注、参考文献、Appendixなどは本文をご覧ください。 概要【POINT1】ChatGPTはAIGCのカテゴリに属し、効率的で高品質なコンテンツ作成をします。 【POINT2】大規模モデルの利用で、意図抽出や生成結果が向上し、現実に近いコンテンツが生まれます。 【POINT3】この調査では、生成モデルの進歩や未解決の問題・将来の課題について解説しています。 最近、ChatGPT は、DALL-E-2 [1]や
![[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス](https://cdn-ak-scissors.b.st-hatena.com/image/square/42e972c45efb6ae68a15f6d7f0f7500c7abf73dd/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F102831564%2Frectangle_large_type_2_9569f338254fe055a87e1118321f258a.jpeg%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
拡散モデルについて思ったこと、統計モデリング等との関係 - xiangze's sparse blog
久しぶりの投稿になります その間世の中では様々なことが起こりましたがStable diffusion,novelAI, DALL-e, midjourneyなど画像生成AIの流行もその一つです。 画像生成AIの性能の中核とも言える拡散モデルに関して他の機械学習手法との関連、そして多くのアイデアの源泉となった非平衡統計物理学，統計モデリング、進化生物学などとの関係に関して思ったことを書きます。 ためになる論文、本のリンクも貼ります。 目次 目次 score matchingとの関係 他の生成モデルとの関係 非平衡統計物理学との関係 統計モデリングの手法との共通点、相違点 情報幾何との関係 進化生物学との関係 専用ハードウェアへのヒント？ なぜ拡散モデルはうまくいくのか コンテンツ生成以外の応用 その他 Next Step(ToDo) ためになるリンク 英語 ためになる本 Fitness la
機械学習関連の入門書籍まとめ
こんにちは、GMOアドマーケティングのS.Sです。 今回は機械学習について少し知りたいと思ったときに、参考になりそうな書籍をご紹介します。 ここで紹介する書籍の多くは、目次やドラフトが著者や出版社のご厚意で閲覧できるようになっているので、中身を確認してから購入することができます。 機械学習全般 いざ機械学習を知ろうと思っても必要となる事前知識やカバーされるトピックの範囲が広すぎて、いきなり分厚い鈍器のような本をcover-to-coverで読むのはしんどい気がするので、全体像をつかむ初めの一冊によさそうなのがはじパタと言われています。 はじめてのパターン認識 平井 有三 https://www.morikita.co.jp/books/book/2235 はじパタなどで概観をつかんだら、次は主要な機械学習手法についてもう少し詳しく学んで見たくなった場合に参考になる書籍を紹介します。 次の3
注意機構・自由エネルギー原理・ニューラルネットの概念の獲得
モダン・ホップフィールドネットと正準ニューラルネットには，どちらも生物学的妥当性をもつ再帰型ニューラルネットとして提案された，という共通点がある．この投稿では，モダン・ホップフィールドネットと正準ニューラルネットにまたがる共通点を掘り下げていくことによって，注意機構，自由エネルギー原理，そしてニューラルネットにおける概念の獲得という一見異なる容貌をした３つの概念が，隠れた水路を通じてお互いにつながり合うことを明らかにしたい． 1. ホップフィールドネット 1−1. モダン・ホップフィールドネットと注意機構 モダン・ホップフィールドネットは，離散的な状態しか持たない古典的なホップフィールドネットを拡張したモデルで，連続的な状態とそれに対応した状態の更新式を備えている[1]．この新しいホップフィールドネットには，①多くのパターンを連想空間に保存する指数関数的な記憶容量を持ち，②1回の更新でパタ
はじめに こんにちは deepblue でインターン生として働いている渡邊です。 最近、PyroやTensorflow Probabilityなどの深層学習ライブラリベースのGPU対応PPL（確率的プログラミング言語）が出てきていますが、なかなか知られていないNumPyroなるものがあるそうです。NumPyroはバックエンドがJaxでサポートされているPPLで、マルコフ連鎖モンテカルロ（MCMC）法によるサンプリングが高速らしいので、今回は線形回帰で使用感を試してみたいと思います。 今回の内容は、ベイズモデリングの用語（事前分布、事後分布など）はご存知の方が対象ですので、そこも怪しいと思われる方はこの記事をさらっと見てから来てくださると理解しやすいと思います。 参考サイト 確率モデリングと事後分布、事前分布、超パラメータ 【Jax, Numpyro】Regression Model pra
はじめに：脳の最先端理論「自由エネルギー原理」 神経科学界隈で盛り上がっている「自由エネルギー原理」という脳の理論があります。 今は脳の理論に留まっていますが，数年後には強化学習にガンガン使われるようになると信じているので，先取りして記事にしようと思います。 （この記事は強化学習系の人をターゲットに，数式をなるべく景色として見ながら理論全体をエクストリームに解説する読み物です。） 簡単に説明すると… 【自由エネルギー原理（Free Energy Principle）】 脳は次に起こることを常に予測していて，予測と実際との誤差「予測誤差」を最小化するように学習・推論を進めるという理論です（2005年～）。 そして，これをさらに進めて，行動も（期待値的に）予測誤差を最小化するように選ぶと考えて定式化されたのが，最新の自由エネルギー原理になります（2015年～）。1 上のただの推論に対比して，能
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 近年の深層学習ブームにおいて，VAE（変分オートエンコーダ: variational autoencoder）の果たした貢献は非常に大きいです。GAN（敵対的生成ネットワーク: generative adversarial network）やFlowと並んで，生成モデルの三大巨頭として主に教師なし学習や半教師あり学習で応用されています。 多くの書籍やWeb上の資料では「VAEはオートエンコーダの発展手法である」と説明されています。名前にもAE（オートエンコーダ）と入っているので，そう思ってしまうのは一見当然のことのように思えます。しかし，語弊を恐れずに言うと，この説明は深刻な誤解を読者に与えています。Kingmaらの原著論文を読めば，VAEがA
ホーム
本講義の目的は計算統計・計算物理の諸手法（MCMCや変分ベイズ法を除く）について「漸化式」「前向き・後ろ向き」といった視点から２日間（午後のみ）で一気に俯瞰することにあります． 横断的に各話題の繋がりを考えることがテーマなので，個々の話題の説明は簡略になっており，どちらかというと，ある程度勉強された方向きだと思います．もとの講義（４日間）では前半の２日間はベイズ統計の入門を講義しましたが，それはここに含まれていません． 伊庭幸人 （統計数理研究所/総合研究大学院大学） 第１部ではマルコフ連鎖の話からはじめて，離散状態の隠れマルコフモデルでの和や期待値の計算，そして，それがいろいろな方向（連続状態，グラフィカルモデル，最適化，連続時間）へと一般化される様子を見ます． 講義で「後半」というのは，ここでは「前半」の２日間がカットされているためです．「後半」の２日間だけで，ほぼ閉じた内容になってい
自由エネルギー原理 - 脳科学辞典
磯村 拓哉 理化学研究所脳神経科学研究センター DOI：10.14931/bsd.10024 原稿受付日：2022年1月31日 原稿完成日：2022年4月3日 担当編集委員：北城 圭一（生理学研究所） 英：free-energy principle 独：Prinzip der freien Energie 仏：principe de l'énergie libre 自由エネルギー原理は、Karl J. Fristonが提唱している脳の情報理論である。生物の知覚や学習、行動は、変分自由エネルギーと呼ばれるコスト関数を最小化するように決まるとしている。その結果、生物は変分ベイズ推論と呼ばれる統計学的な推論を自己組織化に行うとされている。 背景 生物の感覚入力に基づく適応的な行動は、何らかの自己組織化（つまり適応、最適化）によって特徴付けることができる。生物は、感覚入力を生成する外部環境のダイナ
機械学習 - 共立出版
機械学習とはデータから学習して予測を行うことである。統計的学習、統計的信号処理、パターン認識、適応信号処理、画像処理と画像解析、システム同定と制御、データマイニングと情報検索、コンピュータービジョン、計算理論的学習などのさまざまな分野において研究・開発が行われており、現在でもその進歩はとどまるところを知らない。 本書は、機械学習に関して、基本的な内容から最新の話題までを解説する書籍である。まず、確率と統計の入門事項を解説する。次に、パラメーター推定、平均二乗誤差の線形推定、確率的勾配降下法、最小二乗法、ベイズ分類などといった、どちらかといえば古典的な手法を解説する。その後で、凸解析によるアプローチ、スパースモデリング、再生核ヒルベルト空間上での学習、ベイズ学習、モンテカルロ法、確率的グラフィカルモデル、粒子フィルター、ニューラルネットワーク、深層学習、次元削減などといった、より高度な内容を
シンギュラリティサロン＃34（東京第31回） 吉田 正俊「自由エネルギー原理と視覚的意識」 | シンギュラリティサロン
名称: シンギュラリティサロン ＠東京 第 31 回公開講演会 日時: 2019年6月8日(土) 1:30pm 〜 4:00pm 会場: 大手町サンケイプラザ 3 階 主催: シンギュラリティサロン 共催: 株式会社ブロードバンドタワー 講師: 吉田 正俊 (生理学研究所 認知行動発達機構研究部門 助教) 演題: 『自由エネルギー原理と視覚的意識』 講演概要: フリストンの自由エネルギー原理では、外界に関する生成モデルと現在の認識から計算される変分自由エネルギーを最小化するために、1) 脳状態を変えることによって正しい認識に至る過程 (perceptual inference) と 2) 行動によって感覚入力を変えることによって曖昧さの低い認識に至る過程 (active inference) の二つを組み合わせていると考える。 本講演の前半では自由エネルギー原理について、我々が視線を移動さ
はじめに 変分法 変分 微分との差異 微分可能 変分と汎関数 補足 機械学習 関数近似 変分ベイズ法 はじめに 変分法 変分 変分の概念は下記の通りです。 引数 $x$ を受け取る関数 $F[x]$ に関して、引数を $x + h$ へ変えることを考えましょう。すると、引数を変えたことによる $F$ の変化量は $$ \delta F[x] = F[x + h] - F[x] $$ と表すことができます。この $\delta F[x]$ を変分と呼びます。 微分との差異 さて、上記までの議論を見てみると、これは普通にいつも考える微分と何も違いが無いように見えるでしょう。 実際、微分とは、関数 $f(x)$ の引数 $x$ を $x + h$ と変化させた時の $f$ の変化量 $$ {\rm d} f = f(x + h) - f(x) $$ のことを指すのでした。何やら文字の書き方がちょ
はじめに 概要 深層学習に対して不確実性を導入する 深層学習をベイズ推論で理解する ベイズ推論にニューラルネットワークを導入する 中身 1.はじめに 2.ニューラルネットワークの基礎 3.ベイズ推論の基礎 4.近似ベイズ推論 5.ニューラルネットワークのベイズ推論 6.深層生成モデル 7.深層学習とガウス過程 読み方 はじめに MLPシリーズの「ベイズ深層学習」を著者：須山敦志氏よりご恵贈に預かりました。 須山さんはHatena blogにて machine-learning.hatenablog.com を長いこと書かれており、私も機械学習の勉強を開始して依頼、何度も参考にしてきました。 今回は恵贈頂いたベイズ深層学習に関して恐れ多くも書評を書いていきます。 ベイズ深層学習 (機械学習プロフェッショナルシリーズ) 作者: 須山敦志出版社/メーカー: 講談社発売日: 2019/08/08メ
変分法について入門する - Qiita
0.概要 機械学習の分野では変分ベイズもとい変分推論が多く取り扱われるようになってきている。変分推論の「変分」は、変分法からきており、これを理解しないことには変分推論の式展開も容易に行うことはできない。そこで、まずは変分法から入門していきたい。 1. 変分法 変分法について説明する。 微分法 微分法は、一般的に関数$f(x)$の最適化問題を考える際に、その関数を最小化・最大化するような$x$を求める。これは関数$f(x)$を微分し、導関数$\dfrac{df(x)}{dx}$を0にするような値を探すことである。
確率モデリングのための確率分布の式変形基本【ベイズの定理/グラフィカルモデル】 - HELLO CYBERNETICS
はじめに 確率モデリング 確率変数間の関係性記述 ベイズの定理と条件付き分布 関係性の記述と事後分布の導出 いろいろなパターンの練習 パターン１ パターン2 同時分布とグラフィカルモデル 基本事項 すべて互いに関連 すべて互いに独立 有向グラフ化 関連を断ち切ることによるモデリング 最後に はじめに 確率モデリングでは、複数の確率変数間の関係性を記述するということが必要になります。 そうして確率変数間の関係性を記述したら、あとは観測できているデータは確率変数を所与としてしまい、その観測データの条件付き分布により、他の確率変数の事後分布を表現するということを行います。 この事後分布を求める部分をいわゆる学習と呼び、その後、事後分布を用いて予測したい変数の値を分布として（あるいは分布からのサンプリングとして）出力させることで予測を行います。 しかし、多くの確率モデリングの初学者は、実は確率変数
培養神経回路において自由エネルギー原理を実証
理化学研究所（理研）脳神経科学研究センター 脳型知能理論研究ユニットの磯村 拓哉 ユニットリーダーらの国際共同研究グループは、近年注目される脳理論「自由エネルギー原理[1]」により培養神経回路の自己組織化[2]を予測できることを明らかにし、自由エネルギー原理に予測的妥当性があることを実証しました。 本研究成果は、神経回路の自己組織化原理の解明、ならびに生物の脳の自己組織化を予測するデジタル脳[3]開発に向けた重要なステップであると言えます。将来的には、薬品が知覚に影響を及ぼすメカニズムの理解や、自律的に学習するニューロモルフィックデバイス[4]の創出に貢献すると期待できます。 自由エネルギー原理はさまざまな脳機能を説明できる仮説ですが、検証不可能なものであると見なす専門家も多く、自由エネルギー原理が神経回路レベルにおいて正しいかどうかは、これまで本格的に検証されていませんでした。 今回、国
はじめに ガウス過程（GP） GPyTorchを使ったモデリング コード概要 学習コード データとモデルの準備 学習と結果 ハイパーパラメータの振る舞い lengthscale outputscale 最後に はじめに 今回はガウス過程の説明を最低限に行いつつ、GPyTorchを使ってガウス過程をさらっと見てみようという記事です。 関連記事に以下のようなものがあるので参考にしてみてください。 www.hellocybernetics.tech www.hellocybernetics.tech ガウス過程（GP） GPは関数を生成する確率分布（確率過程）であり、平均関数 $m$ と共分散関数 $K$ をパラメータとして関数 $f$ を生成する。 $$ f \sim {\mathcal GP} (m, K) $$ GP回帰では上記で生成された関数を用いて、入力データ $x$ と出力データ $
変分ベイズに関する復習 - Qiita
はじめに 前回は、エントロピー・KL divergenceに関する基本的なことを復習しました。 今回は、変分ベイズに関する基本的なことを書いていこうと思います。 変分ベイズをまとめると、以下の通りです。 （自分なりの大まかな解釈です。） 今、自分たちはAについて知りたい。しかし、Aを直接知ることは困難 なので、良く分からないAを計算せず、計算可能なBについて考える BをなるべくAに近づけるよう形で定義したい ある基づいてBをAに近づけていく 十分にAに近づいたBは、もはや自分たちが知りたかったAと見なせる 少しざっくりしてますが、こんな風に理解しています。 では、この内容を具体的に考えていきます。 目的 目的は、観測データから未知の変数を求めることです。 $y$ を観測データ、$z$を推定したい未知の変数とすると、この問題は の事後確率分布を計算する問題となります。 これを解析的に求めるの
はじめに 変分ベイズ法あらまし 事後分布とその近似分布 第二種最尤推定 ローカルパラメータとグローバルパラメータ グローバルパラメータ 一旦脱線：同時分布のモデリング ローカルパラメータ 償却推論 ローカルパラメータの事後分布 変分パラメータを予測するモデルの導入 はじめに この記事は以下の知識を前提とします。 www.hellocybernetics.tech www.hellocybernetics.tech 余談ですが時間が経つのは速いもので、上記の記事を書いてから一年以上も経つのですね…。 変分ベイズ法あらまし 事後分布とその近似分布 まず、変分ベイズ法で近似推論しようとしている事後分布を、確率変数の実現値として得られているデータ $D$ と確率変数として扱うパラメータ $\theta$ を用い、確率変数として扱わないハイパーパラメータをまとめて $\alpha$ として下記のよう
はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事は、各節の内容のリンクページです。 各記事では、「数式の行間を埋める」や「RまたはPythonでスクラッチ実装する」を行います。 【目次】 はじめに Chpter 1 確率の基礎 1.1 確率 1.2 確率分布 Chapter 2 ユニグラムモデル 2.1 文書表現 2.2 ユニグラムモデル 2.3 最尤推定 2.4 最大事後確率推定 2.5 ベイズ推定 Chapter 3 混合ユニグラムモデル 3.1 混合ユニグラムモデル 3.3 EMアルゴリズム 3.4 変分ベイズ推定 3.5 ギブズサンプリング Chapter 4 トピックモデル 4.3 最尤推定 4.4 変分ベイズ推定 4.5 ギブズサンプリング C
ガウス近似できない事後分布の 漸近挙動について 渡辺澄夫 東京工業大学 東京大学 数理情報学 談話会 2019年11月26日（火） 17:00-18:00 この講演では東京大学鈴木大慈先生の お世話になりました。御礼申し上げます。 もくじ １ 「学習」の数学 ２ 道に迷う ３ 代数解析学 ４ 代数幾何学 ５ 実世界へ １ 「学習」の数学 数学 「学習理論」 とは … 先生 学習さん 先生と同じ になるには りんご，みかん， ぶどう，でしょう 先生 学習さん { 学習 } で成り立つ法則を知りたい 学習 「学習」の数学 先生 学習さん y O q(y|x) x y O p(y|x,w) x パラメータ w の 先生 ← 学習さん q(y|x) ← p(y|x,w) q(x) q(y|x) ← q(x) p(y|x,w) q(x) ← p(x|w) (x,y) を改めて1個の x と思うことに
ニューラルネットとAdS/CFT対応
機械学習の熱力学は，量子重力理論の歴史におけるブラックホール熱力学と同じような歴史的位置にあるのかもしれない．ベッケンシュタイン・ホーキング公式の発見がブラックホール熱力学を生み出し，ホログラフィー原理（場の量子論と重力理論の対応）の原型となったように，機械学習の新しい見方が生まれる可能性がある．ただし，量子重力理論の歴史的経緯とは逆さまに，機械学習の場合は，先に機械学習と場の量子論の対応関係がみつかり，そこからホログラフィー原理を経由して機械学習の熱力学が導かれるのではないか．そう思わせる研究が最近出てきている1． １. 量子重力理論の歴史 １−１. 量子重力理論の歴史 ブラックホール熱力学の発見からホログラフィー原理， 対応までの歴史的経緯を概説． １−２. ブラックホール熱力学 Schwarzschildブラックホールの計量は (1) ただし，．また，地平線近傍ではこの計量を (2)
【資格試験対策】ディープラーニングG検定【キーワード・ポイントまとめ】 - ITとかCockatielとか
last update : 2021/2/24 last update : 2021/2/24 はじめに １．📘人工知能（AI）とは（人工知能の定義） AIの定義 人工知能レベル AI効果 ロボットとの違い 歴史 ✅ 💻ENIAC ✅ ダートマス会議 ✅ 第１次AIブーム ✅ 第２次AIブーム ✅ 第３次AIブーム ２．📘人工知能をめぐる動向 2-1.📘探索・推論 探索・推論の手法 ✅ 探索木 ✅ ハノイの塔 ✅ ロボットの行動計画 ✅ ボードゲーム ✅ コスト ✅ Mini-Max法 ✅ α-β法 ✅ モンテカルロ法 2-2.📘知識表現 知識表現 ✅ 💻ELIZA（イライザ） ✅ エキスパートシステム ✓ 💻DENDRAL ✓ 💻マイシン（MYCIN） ✅ 意味ネットワーク ✅ Cycプロジェクト オントロジー（ontology） ✅ セマンティックウェブ ✅ ヘビーウェ
最近、「なぜid:syou6162はアウトプットを続けているのか」を聞かれる機会があった。 会社のnoteのインタビューを受けた*1中で、もう15年もブログを書いていることについて聞かれたり*2 会社のLT大会をやっているんだけど、なぜアウトプットを推進しようとしているのか聞かれたり 自分のスタンスを説明しているエントリがあると便利だなと思ったので、ポエムを書いてみます。 インプットのためにアウトプット: 情報は出す人のところに集まる 自分が考えていることをぱっと他人に伝えるのに便利 未来の自分へのお手紙 議論: アウトプットはしたほうがよいか? 個人 組織 インプットのためにアウトプット: 情報は出す人のところに集まる これが一番大きい。雑な試行錯誤とか自分用のまとめとか「こういうところ困ってるんだけど、誰か知見持ってる人助けて!!」とかを書くことが多いんだけど、そういった情報を出してお
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベイズ統計学を勉強する参考書のフロー - Qiita
95%信頼区間の「95%」の意味 - 渋谷駅前で働くデータサイエンティストのブログ
【論文紹介】統計学の過去50年における最も重要なアイディアとは？ - Qiita
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
【徹底解説】変分ベイズをはじめからていねいに | Academaid
統計学・機械学習を自分なりに概観してみた - Qiita
トピックモデルを俯瞰して学ぶ - ひつじの〜と 備忘録
トピックモデルついて勉強する - Re:ゼロから始めるML生活
【これなら分かる！】変分ベイズ詳解＆Python実装。最尤推定/MAP推定との比較まで。Beginaid
【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】 - カイヤン雑記帳
NumPyroによるベイズモデリング入門【線形回帰編】 - deepblue
強化学習のための「自由エネルギー原理」概論 #0 - Qiita
【徹底解説】VAEをはじめからていねいに | Academaid
変分と機械学習 - HELLO CYBERNETICS
MLPシリーズ ベイズ深層学習 - HELLO CYBERNETICS
GPyTorchでガウス過程を見てみよう - HELLO CYBERNETICS
変分ベイズ法と償却推論：ローカルパラメータの効率的推論 - HELLO CYBERNETICS
『トピックモデル』の勉強ノート：記事一覧 - からっぽのしょこ
渡辺澄夫 (2019) ガウス近似できない事後分布の 漸近挙動について
ポエム: なぜ私はアウトプットを続けているのか - yasuhisa's blog