PRML 読んでやってみた（下巻編） - 木曜不足
昨日の記事を書いて、そういえば「パターン認識と機械学習」(以下 PRML) 上巻については「やってみた」「試してみた」系の記事をまとめページを作っていたことを思い出した。 PRML 読んでやってみた（上巻編） http://d.hatena.ne.jp/n_shuyo/20100505/prml そして、これの下巻編を作るの忘れてたので、ここにまとめておこう。 基本的には PRML を読む中で、本当にそうなのかなというあたりを手を動かしてみて確かめてみたという内容。実装は主に R で、たまに Python + numpy を使っている。 専門でない人間がやっているわけで、いろいろ間違っているかもしれない点はあらかじめ(実際、変分ベイズのときは盛大に間違えてた)。 6章 カーネル法 PRML６章「ガウス過程による回帰」を R で試す http://d.hatena.ne.jp/n_shuyo
PRML 読んでやってみた（上巻編） - 木曜不足
今までに書いた「 PRML を読んで、やってみた」系の記事をまとめてみた。何か参考になれば幸い。 根本的にとても疑り深い人(教科書の類に対しては特に)なので、「こんなん書いてあるけど、ほんまかいな〜？」という姿勢が目立つ。 また、よく「手触り」という言葉が出てくる。なんというか、「感触」がわからないと気持ち悪いのだ。基本的な道具類は目をつむっていても使えるのが理想、と言えば、なんとなくでもわかってもらえるだろうか。 あと、言葉使いに無駄に小うるさい(苦笑)。多くの人にとってはどうでもいいところで妙にこだわっているかも。 下巻編はこちら。 PRML 読んでやってみた（下巻編） http://d.hatena.ne.jp/n_shuyo/20110519/prml １章＆２章 特に実装とかしてない。 ディリクレ分布のパラメータが0のとき http://d.hatena.ne.jp/n_shuy
PRML読書会 #5 資料「線形識別モデル(1)」 - 木曜不足
これは パターン認識と機械学習(PRML)読書会 #5 (4章 線形識別モデル) での発表用の資料「4.1 識別関数」〜「4.1.2 多クラス」です。 まとめメインで、細かい説明/計算やサンプルは板書する予定。 【更新】読書会での指摘を反映。 PRML 4章 線形識別モデル ２クラス分類 [4.1.1] 多クラス分類 [4.1.2] 最小二乗による学習 [4.1.3] フィッシャーの線形判別による学習 [4.1.4-6] パーセプトロン・アルゴリズムによる学習 [4.1.7] おまけ 分類問題 入力ベクトル を K 個の離散クラス の１つに割り当てる 入力空間は決定領域 ( decision region ) に分離される 決定面 ( decision surface ):決定領域の境界 線形識別モデル 決定面が superplane 線形モデル 入力ベクトル の線形関数(★*1線形方程式
[機械学習] PRML 14章の混合正規回帰モデルの実装 - tsubosakaの日記
PRML 14.5.1の混合正規回帰モデルのEMアルゴリズムによるパラメータ推定を実装してみた。 混合正規回帰モデルは下図のようなデータ点に対して 一本の直線でフィッティングする代わりに 複数の直線でフィッティングするというモデルである。 これは混合正規分布の推定と同じくEMアルゴリズムで推定できる。詳しくはPRMLの14.5.1を参照。 package chapter14; import java.util.Random; public class Main { static double generate(double x){ if(Math.abs(x) >= 0.5){ return - 0.5 * x - 1; }else{ return 0.5 * x + 1; } } public static void main(String[] args) throws Exceptio
![[機械学習] PRML 14章の混合正規回帰モデルの実装 - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/7ef33aad281044203aee595ae45f3bc136d39e68/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftsubosaka%2F20100828%2F20100828130212.png)
「パターン認識と機械学習(PRML)」読書会（最終回） - 木曜不足
9/5 の「パターン認識と機械学習」(PRML)読書会に のこのこ参加してきました。 昨年の6月から参加してきた PRML読書会も、17回目の今回で最終回。ほんとお疲れ様でした＞各位。 今回は13章後半の線形動的システム(LDS, カルマンフィルタ)から、14章の終わりまで。 カルマンフィルタやパーティクルフィルタは専門家がいたので、応用範囲とかいろいろ聞いてみたり。 パーティクルフィルタはなかなか面白そうだけど、自然言語処理には使うところなさそうなのが残念。超解像とかに手を延ばしたら縁ができるのかな？ って、興味はあるけどさすがになあ……。 【追記】 コメント欄にて、持橋さんが文脈推定問題にパーティクルフィルタを持ち込んだお仕事を、id:syou6162 さんに教えていただいた。 http://chasen.org/~daiti-m/paper/nl165pf-slides.pdf (プ
マルコフ連鎖モンテカルロ法入門-１
※ここで解説しているお天気推移モデルはオリジナルなものですので、数値・計算等にミスがある可能性が否めませんので、もし間違いを見かけた方は優しく教えていただけると助かります。 お天気推移モデルで理解するマルコフ連鎖モンテカルロ法。２状態離散モデルの解説を中心に、メトロポリス法の解説まで行った。 次は連続モデルや熱浴法・メトロポリスヘイスティング法の解説資料も作成したい⇒完成。以下のLINKを参照下さい。http://www.slideshare.net/teramonagi/ss-5344006 誤字を修正（2010/11/01）Read less
第17回PRML読書会 (最終回): 13章残り + 14章: モデルの結合 - シリコンの谷のゾンビ
PRML読書会の最終回に参加してきました．今回はスペシャルゲストのしましまさんが参加され，ラスボスを迎えての感動の最終回となりました． 最終回は前から気になっていた14章ブースティングの発表を担当しました．ブースティングは使ったことがあったけれど，なんでそれでうまく学習できるのか，という部分を全然知りませんでした．PRMLではVC次元による解釈はせずに，それまでの試行で得られた弱学習器とその重みを固定して現在の試行の弱学習器とその重みを損失関数を最小化するように決定している逐次最適化という解釈で式の導出を説明しています．ここの導出は非常に簡単で，いつも演習問題をサボ微分ができないゆとりにも優しい，とても簡単な微分で導出することができました． また，尤度演習14.7では変分最小化によって式(14.28)の導出を行うのだけれど，ゆとりに自信を与えてくれるような非常に優しいパターンになっていて，
PRML読書会最終回 発表資料 CART - takminの書きっぱなし備忘録 @はてなブログ
本日PRML読書会、本レーンの最終回でした。 今回はなんと、スペシャルゲストとして翻訳者の@shima__shimaさんが参加して下さいました！ というわけで、今回の発表資料をアップしておきます。 今回の発表範囲は決定木です。 また今回（自分の発表内容があっさりしてたため）、コンピュータビジョンで使用される決定木の話（k-d treeとかVocabulary treeとかRandomized k-d treeとか）も余談でちょこっと書いてます。 Chapter14.4View more presentations from takmin. 勉強会参加の皆さん、大変ありがとうございました。また、幹事の@naoya_tさん、本当にお疲れ様でした。
Prml 13.3.4 particle filter/sequential monte carlo
Prml 13.3.4 particle filter/sequential monte carlo - Presentation Transcript PRML 13.3.4. 粒子フィルタ @suzuvie_re 非線形、非ガウスでの動的システムの 表現として • カルマンフィルタでは色々ガウスでした。 • そこでパーティクルフィルタ • 応用 ▫ 動的な判別、回帰、予測 対象物追跡、時系列データの予測など ▫ シミュレーションとして CG (Sequential Sampling for Dynamic Environment Map illumination, Doucet et.al.) ▫ 最適化っぽい使い方 Particle filtered MCMC-MLE 、A Stochastic approximation method for inference in
パターン認識と機械学習（PRML）まとめ - 人工知能に関する断創録
2010年は、パターン認識と機械学習（PRML）を読破して、機械学習の基礎理論とさまざまなアルゴリズムを身につけるという目標（2010/1/1）をたてています。もうすでに2010年も半分以上過ぎてしまいましたが、ここらでまとめたページを作っておこうと思います。ただ漫然と読んでると理解できてるかいまいち不安なので、Python（2006/12/10）というプログラミング言語で例を実装しながら読み進めています。Pythonの数値計算ライブラリScipy、Numpyとグラフ描画ライブラリのmatplotlibを主に使ってコーディングしています。実用的なコードでないかもしれませんが、ご参考まで。 PRMLのPython実装 PRML読書中（2010/3/26） 多項式曲線フィッティング（2010/3/27） 最尤推定、MAP推定、ベイズ推定（2010/4/4） 分類における最小二乗（2010/4/
第３回 パターン認識と機械学習(PRML) 復習レーン に参加してきた - hamadakoichi blog
第３回 パターン認識と機械学習(PRML) 復習レーン に参加してきました。 ATND: PRML復習レーン（第3回） : ATND Google Group: Google グループ Twitter Time Lineまとめ(Togetter)と、各講師の方々の資料、メモを、覚書きとして以下に記載します。 ※各講師資料、アップされたら追加更新します。 Togetter 第3回 パターン認識と機械学習 復習レーン #PRMLrevenge #03 - Togetter 第2章（前回）のおさらい 2.1 ([Twitter:@ajiyoshi]) 2.2-3 ([Twitter:@nokuno]) PRML復習レーン 2.3 ガウス分布View more presentations from nokuno. ベイズ学習.pdf id:nokuno さんのエントリ：http://d.haten
人工知能に関する断想録
Deep Learningの訓練終了など任意のメッセージを特定のSlackチャネルに投稿できるボットを作りました。 Yatta Kun プログラミングは不要で curl というコマンドラインツールから簡単に投稿できるので非常に便利です。可愛いくて便利なので作り方を紹介します。 職場などでみんなが使っているワークスペースで実験すると迷惑がかかる可能性があるので、最初は個人の実験用ワークスペースを作ってしまうのが良いと思います。無料でできます。 1. Incoming Webhookをインストール SlackアプリのページからIncoming Webhookをインストールします。Slackアプリページは、 https://[workspace name].slack.com/apps/ から行けます。 workspace name はワークスペース名です。 Incoming Webhook で
RVMで回帰 - きちめも
5月も残り僅か... 新歓や講義も落ち着き始めたのでPRMLを再開。今回は7章後半の関連ベクトルマシン(Relevance Vector Machine)。 感想とか p57に「モデル(7.78)を用いた場合は, 計画行列Φは,...」のところで、自分はN×(N+1)の行列(1列目は全て1、残りのN×NはK_nm=k(x_n, x_{m-1})な感じの行列を想像したのだが、本文を見ると(N+1)×(N+1)の対象カーネル行列と書いてある。何か勘違いしてるのかな...？ SVNとあんまし関係無い気g(ry 本題とは外れるが(C.7)のWoodBuryの公式の便利さをとようやく理解... p64の「各繰り返しにかかる計算時間はO(M^3)」ってのは、αiが無限大だとΣのi行i列はほぼ0になるので、モデルに含まれる基底ベクトルだけでΦを構成して、M×MのΣにしても計算結果あんま変わらなくて大丈夫
PRML６章「ガウス過程による回帰」を R で試す - 木曜不足
PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… ３つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R で試す。 訓練データは PRML のサンプルデータを使う。 # PRML's synthetic data set curve_fitting <- data.frame( x=c(0.000000,0.111111,0.222222,0.333333,0.444444,0.555556,0.666667,0.777778,0.888889,1.000000), t=c(0.349486,0.830839,1.007332,0.971507,0.133066,0.166823,-0.848307,-0.445686,-0
紫ログ:PRML(パターン認識と機械学習) Hackathon #2 - livedoor Blog（ブログ）
【C.M.ビショップ「パターン認識と機械学習(PRML)」読書会の情報はこちら】 （とりあえずハブエントリ） PRML(パターン認識と機械学習) Hackathon #2 を開催しました。参加者8名。 幹事の都合で集まりにくい日になってしまって申し訳ありません。 公式タグはPRMLhackathon。 参加者のみなさま（自己紹介順。敬称略）: wk77 (@tw) EMアルゴリズム〜変分ベイズ等の実装 mahout = まはうと 演習問題ちゃんと解いてる岸本さんは胸を張ってよいと思いますｗ showyou (@tw) pLSAの実装 http://d.hatena.ne.jp/showyou/20100328/1269785746 ネット共有ありがとうございました mimori (@tw) ぼやけたバーコード画像の読み取りに挑戦 smly (@tw) Graph-based Transdu
[機械学習] PRML Hackathon #2 - tsubosakaの日記
PRML Hackathonに行ってきました。 今回のHackathonでは昨日書いたスライスサンプリングという手法をLDAの推論に使ってみて通常のGibbs samplerと比較してみました。 結果としてはサンプリング速度が2-3倍程度高速になり、手法の有効性を確かめることができました。また、perplexityの値は Gibbs samplerよりも少し悪い結果となりました。(誤解を招く表現でした、詳しくは下に追記しました) Prml HackathonView more presentations from tsubosaka. 追記: perplexityの値が悪くなったというと変分ベイズのように近似が入って性能が悪くなる印象を与えますがそうではないです。 slice samplerはgibbs samplerと同様に十分な回数反復すれば正しい確率分布からのサンプルを取ることができ
![[機械学習] PRML Hackathon #2 - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/61691ac655baffe46c6259bb16f2070500c85eae/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030051%2F1557332436)
PRML 読書会 #12 ９章 ＥＭアルゴリズム＆１０章 変分ベイズ - 木曜不足
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 3/7 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #12＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは９章の EM アルゴリズムと１０章の変分推論(変分ベイズ)。 盛り上がって参りました。 これまでも圧倒的なパワーで並み居る参加者をなぎ倒してきた PRML。しかし全てはウォーミングアップに過ぎなかった。 第１２話の、PRML のセリフ「わたしの戦闘力は53万です」に凍り付く参加者一同。 はたして生き残ることは出来るのか！？ だいたいあってる？ というわけで、PRML の一番大変な範囲に突入。 でも、９〜１３章は EM, VB(変分ベイズ), MCMC, Gibbs サンプリング,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PRML10.6 変分ロジスティック回帰
PRML復習レーンで発表します - nokunoの日記
PRML読書会06で発表してきました - tsubosakaの日記
