はじめに 千葉大学/Nospareの米倉です．今回は，統計学・機械学習周辺で，僕が良いと思ったチュートリアル/サーベイ論文と講義ノートを簡単なコメント付きで紹介したいと思います．チュートリアル論文やサーベイ論文は，そのトピックの解説や教育面にフォーカスしていて，何か勉強したり，網羅的に把握するときに非常に便利だと個人的に思います．また公開されている講義ノートの中には非常に勉強になるものが多くあります．内容は僕が興味があるトピックに偏っています．またすべて無料で読めます．（教科書等の海賊版みたいなのは載せていません） 10本の紹介 Nickl "STATISTICAL THEORY" Nicklの統計学の講義ノートです．いわゆるM推定量の漸近的性質に加え，バーンスタイン・フォンミーゼズ定理等も証明付きで解説されており，上級レベルの数理統計学を学ぶのに重宝すると思います． Doucet and
Pythonで作って学ぶ統計モデリング 近年、AIや機械学習、深層学習といった用語に代表されるように、多種多様のデータを高度なアルゴリズムと計算機の力で解析し、将来予測などの価値を生み出す技術に注目が集まっています。 これらの技術の土台となっているのが、本記事で解説する統計モデリング（statistical modeling） と呼ばれる考え方です。元々は手計算が可能なレベルの比較的シンプルな数学的仮定を置いてデータを解析する方法論として発展しましたが、近年の計算機の性能発達に伴い、従来では取り扱えなかったより複雑なモデルを利用した高度な解析を実施する事例が増えてきています。特に、現在実践で広く使われている機械学習のモデルや、複雑な非線形関数を組み合わせた深層学習モデルなども、その多くは突き詰めれば統計モデルの一種であることが言えます。したがって、統計モデリングはそれ自体がデータ解析に対し
『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書 - 渋谷駅前で働くデータサイエンティストのブログ
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
はじめに 東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計を用いたデータ分析を実施する上で欠かせないマルコフ連鎖モンテカルロ法(いわゆるMCMC)をフルスクラッチで実装するためのトレーニング方法と，そのための参考書について紹介いたします． 最近ではstanのように，モデルと事前分布を記述するだけで汎用的にMCMCが実行できてしまう環境が整っていますが， そもそもMCMCがどういう流れで動いているのか理解する stanなどの汎用ツールがうまく使えない(orうまく動かない)場面に遭遇したときに自分の手で実装できるようにする ためには，標準的なモデルでMCMCをフルスクラッチで実際に組んだ経験が重要になってくると思います． 参考書について トレーニングのために私がオススメするのは以下の本です． J. Chan, G. Koop, D. J. Poirier, J. L. Tobia
ファイナンスのためのMCMC法によるベイズ分析
メタデータをダウンロード RIS形式 (EndNote、Reference Manager、ProCite、RefWorksとの互換性あり)
Lightweight MMM：NumPyroで実装されたベイジアンMMMフレームワーク - 渋谷駅前で働くデータサイエンティストのブログ
以前「Ads carryover & shape effects付きのMedia Mix Modeling」という記事で取り上げたベイジアンMMMのtechnical report (Jin et al., 2017)ですが、当時RStanで実装されていたものが4年の時を経て時代の趨勢に沿う形でPythonベースのOSSとしてリリースされています。 それがLightweight MMM (LMMM)です。ベイジアンモデリング部分はNumPyroによるMCMCサンプラーで実装されており、さらにはモダンなMMMフレームワークにおいて標準的とされる予算配分の最適化ルーチンも実装されています。全体的な使い勝手としては、まだ開発途上の部分もあるので時々痒いところに手が届かない感があるものの、概ねRStanで実装したものと似たような感じに仕上がっているという印象です。 ということで、LMMMがどんな感
TensorFlow User Group ベイズ分科会の資料 PPLについて - HELLO CYBERNETICS
はじめに はじめに 作って遊ぶ機械学習。 の須山さんにお誘いを受け、TensorFlow User Group（通称TFUG）でPPLについてお話をしました。 その資料へのリンクを貼っておきます。また、今後もこの動向について興味がある方はぜひconnpassのTFUGにもご参加ください。 tfug-tokyo.connpass.com speakerdeck.com
ホーム
本講義の目的は計算統計・計算物理の諸手法（MCMCや変分ベイズ法を除く）について「漸化式」「前向き・後ろ向き」といった視点から２日間（午後のみ）で一気に俯瞰することにあります． 横断的に各話題の繋がりを考えることがテーマなので，個々の話題の説明は簡略になっており，どちらかというと，ある程度勉強された方向きだと思います．もとの講義（４日間）では前半の２日間はベイズ統計の入門を講義しましたが，それはここに含まれていません． 伊庭幸人 （統計数理研究所/総合研究大学院大学） 第１部ではマルコフ連鎖の話からはじめて，離散状態の隠れマルコフモデルでの和や期待値の計算，そして，それがいろいろな方向（連続状態，グラフィカルモデル，最適化，連続時間）へと一般化される様子を見ます． 講義で「後半」というのは，ここでは「前半」の２日間がカットされているためです．「後半」の２日間だけで，ほぼ閉じた内容になってい
[R] [stan] bayesplot を使ったモンテカルロ法の実践ガイド - ill-identified diary
図1: Monte-Carlo, from Neugebauer (2018) イントロダクション モンテカルロ法とは どこを見て収束を確認するか トレースプロット GR統計量 を確認する. 多重連鎖はいくつ必要か 自己相関関数 (ACF, コレログラム) 有効サンプルサイズ 事後診断ツール bayesplot こういう時どうすればいい? GR統計量の値が大きい アルゴリズムを変える 有効サンプルサイズ の値が小さい 低速混合 間引き そもそもプログラムが間違っている場合 まとめ 参考文献 イントロダクションこの投稿は, 第78回R勉強会@東京（#TokyoR） - connpass での LT の内容を加筆修正したものである. 以下は当時のスライドである. bayesplot を使ったモンテカルロ法の実践ガイド from 智志 片桐 以前, Tokyo.R かどこかの懇親会で, マルコフ
![[R] [stan] bayesplot を使ったモンテカルロ法の実践ガイド - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cc30662fe4559806b1689e8ea8d5e1b5c720b95/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20190613%2F20190613000506.jpg)
はじめに MCMCの一種 目標: ある分布 $\pi(x)$からのサンプリングを行いたい Metropolis-Hastingsアルゴリズム (MH) Hamiltonian Monte Carlo (HMC) Langevin Dynamics (Metropolis-adjusted Langevin Algorithm) Stochastic Gradient Langevin Dynamics (SGLD) の順に見ていくと理解しやすい Metropolis-Hastings Metropolis-Hastingsについては既知のもとする 提案分布 $q(z)$を元に判定関数を用いて受容・棄却を行うMCMC cf. GibbsSamplingとHM 提案分布が対称, すなわち $q(z|z_\ast) = q(z_\ast|z)$ならば, 判定関数はただの $\min(1,\fra
時系列分析というと、SARIMAモデルや状態空間モデルなどがよく使われているかと思います。 私自身、これらのモデルについて一つの系列データについてモデルを適用したことはありますが、複数の系列データが影響するようなモデルについては扱ってきませんでした。 今回はある系列データが予測対象の系列データに影響を与えている状況を考え、これをベイズ構造時系列モデルが適用して考えてみたいと思い、実際にやってみたので、今回はそのメモです。 ベイズ構造時系列モデル 構造時系列モデル ベイズ構造時系列モデルの概要 問題意識 アプローチ spike-and-slab事前分布 ベイズ平均化法 使えそうなライブラリ サンプルコード TensorFlow Probability 自分でもやってみる 書いたコードの残骸 参考文献 感想 ベイズ構造時系列モデル 構造時系列モデル まずは構造時系列モデルについて簡単に確認しま
時系列データのような従属性のあるデータの解析では、近似計算が行われることが多い。しかし、結果にはさまざまな解釈が生まれ、扱いが難しくなるデメリットがある。そこで、どのような指標で定量化しても解釈が一通りに統一されるベイズ統計の特徴を生かし、従属性データに適用することで、信頼性を向上させようという研究が進んでいる。機械学習を取り入れつつ、ベイズ計算の新手法の確立に挑むプロジェクトを紹介する。 今回紹介するプロジェクトのテーマは「従属性のあるデータへの不確実性の定量化」だ。「ここでいう『不確実性の定量化』とはすなわち、ベイズ統計学のことです」。統計数理研究所モデリング研究系複雑構造モデリンググループの鎌谷研吾教授は、そう説明する。 統計学とはまさに不確実な事象を定量化することであり、その定量化の意味を解釈することだ。さまざまな統計手法がある中で、ベイズ統計を使うメリットは何か。「ベイズ統計の特
BS14-11.pptx
• – – – • – – – • • • 0 200 400 600 800 1000 -4 -2 0 2 4 Draws Posterior • • • 0 2000 4000 6000 8000 -4 -2 0 2 4 6 Iterations • – • – – • – • – • • • • • • • • • • • • • • – = ⋅ = ⋅ • – • – – • – • -0.5 0.0 0.5 0.0 0.5 1.0 1.5 2.0 N = 4000 Bandwidth = 0.036 • • • • – • – • • • • 0 1000 2000 3000 4000 -1.0 -0.5 0.0 0.5 1.0 Iterations 0 1000 2000 3000 4000 -1 0 1 2 Iterations • • • • ρ = − ( ) + − (
機械と学習する
【概要】 「深層学習による自然言語処理」の輪読会をしています 輪読会第4回目は5章が範囲でした 【目次】 はじめに 輪読会記録 資料リンク 第5章の概要 5章全体を通した感想 その他：キャッチアップについて その他：実務での利用について おわりに 参考文献 はじめに 講談社MLPシリーズの「深層学習による自然言語処理」の輪読会をしています。 輪読会の範囲で気になったことや資料のリンクなどをまとめていきます。 輪読会のリンクはこちらです。 learn-stats-ml.connpass.com 「深層学習による自然言語処理」のほか、輪読会を定期開催しているので、気になった方はグループメンバーになってもらえるとうれしいです。 また、Slackのwork groupを用意しているので、参加したい方は何らかの方法で私に連絡ください（輪読会参加してなくてもwelcome）。 【トップに戻る】 輪読会
人口動態予測 - Qiita
1. 人口動態のベイズ推定ー国連モデル 一般的に、人口動態推定は、合計特殊出生率（TFR）の評価、及び平均寿命の評価の2つの評価に分けられる。なお、人口動態推定は人口動態転換モデルを用いて記述されており、一般的に、人口動態転換モデルは4段階から構成される。第一段階では、出生率・死亡率ともに高レベルにある状況が想定されており、第二段階では、出生率は高レベルにあるが、死亡率が急速に減少する過程が想定されている。第三段階では、出生率が減少、死亡率は徐々に減少する過程を想定している。また、第四段階では、出生率・死亡率ともに低レベルにある状況が想定されている。 国連では、現在、階層ベイズモデルを用いて人口動態推定を行なっており、ここでは国連モデルに基づいた評価を実行する。 1.1 TFRのベイズ推定 国連モデルでは、まず、人口動態転換モデルの第二段階におけるTFRの推移は二重ロジスティック関数をドリ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料で読める統計学・機械学習周辺のチュートリアル論文や講義ノート10本 - Qiita
Pythonで作って学ぶ統計モデリング | AIdrops
MCMCをフルスクラッチで実装するトレーニング方法 - Qiita
Stochastic Gradient Langevin Dynamicsを理解する
ベイズ構造時系列モデルってやつをやってみる - Re:ゼロから始めるML生活
従属性のあるデータへの不確実性の定量化：響き合う人とデータ―統数研プロジェクト：統計数理研究所