Tokyo.stanの感想 - xiangze's sparse blog
stan開発者の一員であるBetancourtさんを招いたTokyo.stanを聴きにいきました。 Michael Betancourt's Stan Lectureを開催しました - StatModeling Memorandum 自分はstanを余り使いこなせていないのですが、主にアルゴリズムと実装に関する感想を書きます。 HMCの説明をされている中で推定されるべき事後分布の関数の等高線を回るようにサンプルしているという説明が非常に明快でした。事後分布の勾配である"重力"に対して直交する方向に運動量が存在すれば分布の極大値にとどまらずにその周囲を回るようにサンプリングがされます。ニュートン力学そのものです。 赤が勾配、青が運動量 最適化問題は山を登るか(下る)ような勾配系の問題としてイメージできますが、MCMCは分布を推定するので相空間を等エネルギー面に沿ってぐるぐる回るハミルトン系の
最近のpymcの進展(ノンパラベイズ) - xiangze's sparse blog
pymcはpythonの文法の枠内で統計モデルが書けてMCMCを実行することで推定が出来るライブラリです。 最近開発に色々な進展があったので勉強しています。 https://pymc-devs.github.io/pymc3/ ノンパラメトリックベイズモデルは任意の数の変数を持つ確率過程を用いるモデルですが、これをプログラミング言語で実装するのは少し難しいように思ったのですがデータ数が有限なことなどを考えると書くことができます。 ディリクレ過程 カテゴリカル分布に従う不定個数の離散的な確率変数の共役事前分布として使われるディリクレ過程はstick breaking processという方法で実装できます。pymcでは https://gist.github.com/xiangze/d7a5c475bfd5b946a1c7#file-pymc-ipynb の[25]のcomponentのよう
局所的な近似によるMCMCの高速化論文を読んだ - xiangze's sparse blog
局所的な近似によるMCMCの高速化論文が話題になりました。 http://japan.zdnet.com/article/35073667/ 論文Accelerating Asymptotically Exact MCMC for Computationally Intensive Models via Local Approximations を読んで理解した範囲の内容を書きます。 アイデア 物理現象のモデルは(確率)微分方程式を使って書かれますが、そのパラメータが未知のことが多く、MCMCを使ってパラメータを推定することが行われています。 しかし現実的な問題ではモデルが巨大になって、MCMCの各ステップでそれを評価するのは計算量が多くなりすぎてしまいます。 そこでモデルを近似するということなのですが、サンプリングに近似した事後分布を使うというアイデアはApproximate Bayes
A Brief Survey on Sequence Classification(系列データの分類)の要約 - xiangze's sparse blog
最近時系列データの解析を専門とする人たちのお話をきいたり、ブログを読んだりする機会が多くなっています。工学の枠を超えてビジネスでの応用が盛んになっているようなのですが、今まで制御理論などで得られた理論、知見とは大きな隔たりがあります。 そこで系列データの分類(sequence classiffcation)に関して簡潔にまとめられたドキュメントであるA Brief Survey on Sequence Classification (pdf) を読みました。表題の通り実質６ページで構成された短いドキュメントですが、自分の理解の為にその内容を簡単ではありますが以下にまとめます。 1. INTRODUCTION まず系列データ(sequence data)を以下のように分類しています。 simple symbolic sequence アルファベットなどの記号を単純に並べたもの。DNA seq
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
