Amazon.co.jp: Prediction, Learning, and Games: Cesa-Bianchi, Nicolo, Lugosi, Gabor: 本
http://www.cs.princeton.edu/~mdhoffma/
I am a postdoc working with Prof. Andrew Gelman at Columbia University. I did my Ph.D. at Princeton University in Computer Science working in the Sound Lab with Prof. Perry Cook and Prof. David Blei. My research focuses on Bayesian modeling of audio, audio feature extraction, music information retrieval, and the application of music information retrieval and modeling techniques to musical synthesi
オンライン最適化とRegret最小化 - DO++
大量のデータから、何か有益な情報を求める問題の多くは最適化問題を解くことに帰着されます． 最適化問題とは与えられた関数fの値を最小（最大）にするような変数xを探すといった問題です。 例えば、機械学習（これを利用する自然言語処理、情報検索など）、画像処理、AI(ロボットの経路制御）、 など多くの分野で最適化問題は登場します。 その中でもオンライン最適化（機械学習の文脈でいえばオンライン学習）と呼ばれる最適化手法は 実用性の高さと実装のしやすさから多く利用されるようになってきました。 このオンライン最適化は近年Regret（後悔）最小化というゲーム理論などで使われていた枠組みで 解析されることが多くなってきました。 今回はこのRegret最小化について簡単に解説してみようと思います。 （機械学習が詳しい人向けに補足すると、VC次元など他の機械学習を解析する手法と比べてRegret最適化の面白い
MIRA (Margin Infused Relaxed Algorithm) 京都大学大学院情報学研究科知能情報学専攻 中澤 敏明 nakazawa@nlp.kuee.kyoto-u.ac.jp 2009/7/31 勉強会 1 Introduction MIRA(Margin Infused Relaxed Algorithm) はオンライン学習アルゴ
MIRA (Margin Infused Relaxed Algorithm) 京都大学大学院情報学研究科知能情報学専攻 中澤 敏明 nakazawa@nlp.kuee.kyoto-u.ac.jp 2009/7/31 勉強会 1 Introduction MIRA(Margin Infused Relaxed Algorithm) はオンライン学習アルゴ リズムの一つで、事例と超平 面との距離 (Margin) をモデル更新に利用 (Infused) する。Relaxed の気持ちは、[3] で示されている multiclass version Perceptron のパラメータ更新時の制約を緩めているところから来ている (と思われ る)。なお MIRA の初出は [3] であり、正確にはこの論文中での定義が MIRA なのだが、この MIRA は 分離可能な問題にしか対応しておらず、こ
オンライン学習の落とし穴は I/O にある - 武蔵野日記
オンライン学習を使うときの問題点がOnline Learning Algorithms that Work Harderに書かれている。一言で言うと「オンライン学習は学習が速すぎるので I/O がボトルネックになる」ということであり、自分も100%同意。 なんでこんなことが起きるか、なのだが、1事例ずつ見ては最適化するオンライン学習にせよ、適当な数の事例を見ては最適化する確率的勾配降下法(Stochastic Gradient Descent)にせよ、全事例を見て最適化するバッチ学習と比べて、最適化の部分が重たかったり、全事例をメモリの載せなかったりしないといけないところを軽くするものなのだが、あまりに軽くなりすぎると、それ以外のところがボトルネックになる、ということで、それが I/O となっている、というわけ。 もっと正確に言うと、ボトルネックになるのはディスクから読み込む I/O では
Online Learning Algorithms that Work Harder
timv said... I've definitely felt the IO bottleneck before.. the best solution is to get a really beefy 64-bit multi-core machine with tons of memory to run all your training on. This way you can leave everything in memory.. no more worries! Have you considered posing this as a question on MetaOptimize (http://metaoptimize.com/qa)? 31 August, 2010 22:24 John Langford said... I've seen VW work pret
二値素性でのオンライン学習の実験まとめ - ny23の日記
複数のオンライン学習のライブラリについて，線形学習と多項式カーネルの学習の詳細な実験結果（構文解析タスクと関係抽出タスク）を学習器の公開ページに追加した．今までの実験のまとめ的な内容になっている．オンライン学習は，訓練例を shuffling をするように統一して実験したら，ライブラリ間の速度差が少し縮まった．分類時間にはモデルの読み込み時間も入っているが，多項式カーネルではモデルの読み込みに時間がかかる分（と言っても100msec.とかだけど），特にテスト例数が少ない関係抽出タスクの実験セットで（線形学習に比べて）やや不利となっている． 幾つか分かったこと PA-I は averaging すると，繰り返し数を固定した場合の C の最適値が変わって，より少ないサポートベクタ数で同程度以上の分類精度が出せる．SVM よりサポートベクタ数が多くなりがちな PA-I にとっては良い特性だと思わ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
