More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server
More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server †Qirong Ho, †James Cipar, §Henggang Cui, †Jin Kyu Kim, †Seunghak Lee, ‡Phillip B. Gibbons, †Garth A. Gibson, §Gregory R. Ganger, †Eric P. Xing †School of Computer Science Carnegie Mellon University Pittsburgh, PA 15213 qho@, jcipar@, jinkyuk@, seunghak@, garth@, epxing@cs.cmu.edu §Electrical and Computer Engineering C
SAMOA by yahoo
Scalable Advanced Massive Online Analysis View the Project on GitHub yahoo/samoa Download ZIP File Download TAR Ball View On GitHub SAMOA is a platform for mining on big data streams. It is a distributed streaming machine learning (ML) framework that contains a programing abstraction for distributed streaming ML algorithms. SAMOA enables development of new ML algorithms without dealing with the co
DSIRNLP#1で「ランキング学習ことはじめ」を発表しました - シリコンの谷のゾンビ
第1回データ構造と情報検索と言語処理勉強会に参加して発表をしてきました．幹事の@overlast さん，ボランティアのみなさま，会場を提供してくださったmixiさんに感謝申し上げます． ランキング学習に関するハードな発表を依頼されたので，気合いを入れて2晩夜更かしして資料をまとめてみた．発表資料(公開用)をslideshareにアップしました． DSIRNLP#1 ランキング学習ことはじめ View more presentations from sleepy_yoshi ランキング学習は検索ランキングを教師あり機械学習の枠組みで最適化する方法で，どのように目的関数を設定するかという観点で3つのアプローチ (pointwise, pairwise, listwise) に分かれる．これらのアプローチは，目的関数の設定方法が違うだけで，眺めてみると (基本的な方法は) そんなに難しくないよ，
機械学習超入門II 〜Gmailの優先トレイでも使っているPA法を30分で習得しよう！〜 - EchizenBlog-Zwei
最近の論文で The Learning Behind Gmail Priority Inbox D.Aberdeen, O.Pacovsky & A.Slater というのがある。これはGmailの優先トレイで使っている機械学習のアルゴリズムについて解説したもの。というと難しそうな印象があるが、この論文で紹介されているPassive-Aggressiveという手法は実装がとても簡単。なので今回はこれについて解説するよ。 参考資料: Gmail - 優先トレイ Online Passive-Aggressive Algorithms K.Crammer et al. The Learning Behind Gmail Priority Inbox読んだメモ - 糞ネット弁慶 わかりやすい日本語解説 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBl
機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei
最近では機械学習の認知度も上がってきていて専門家でなくてもナイーブベイズやSVMなどの名前を知っている人も増えてきたように思う。 そんなわけでちょっと機械学習をはじめてみようかな、と思っている人も多いのではないだろうか。とはいえ「数式よくわからない」「確率嫌い」といった理由で尻込みしているケースも多いのでは。 そこで予備知識ゼロでもわかるような機械学習の入門記事を書いてみたよ。 機械学習を「作りたい」のか「使いたいのか」 まず最初に確認したいのがこれ。使いたいだけならまずはSVMを使ってみれば良い。世の中にはlibsvmやsvmlightという良いツールがあるのでそれを使おう。以下の記事は機械学習を「作りたい」「仕組みを知りたい」人向けの内容になっている。 「最も簡単な機械学習はナイーブベイズ」という幻想 機械学習といえばナイーブベイズという話がよくある。ナイーブ(単純)という名前からいか
CS229: Machine Learning
Course Description This course provides a broad introduction to machine learning and statistical pattern recognition. Topics include: supervised learning (generative/discriminative learning, parametric/non-parametric learning, neural networks, support vector machines); unsupervised learning (clustering, dimensionality reduction, kernel methods); learning theory (bias/variance tradeoffs, practica
ML4NL - PukiWiki
言語処理のための機械学習入門 † 高村大也著 コロナ社 2010年7月1日出版 (自然言語処理シリーズ１ 奥村学監修) 機械学習を用いた自然言語処理の初学者向けに、なんらかの足がかりになることを狙って、この本を書きました。 特に念頭においていたのは、研究室にまだ属していない、もしくは属したばかりの学生の方々、 あるいは身近に教えてくれる人のいない方々、 機械学習ベースの言語処理をこれから取り入れようとしているエンジニアの方々、などです。 たとえば、言語処理専門の先生がいない環境で頑張っている学生さんは、 いいアイデアを持っていても機械学習の基礎知識が足りなくて形にできなかったりするかもしれません。 僕自身、修士までは言語処理と無関係の研究室に属しており、 思うように言語処理の勉強ができなかった経験があります。 この本がそんな方々の助けに少しでもなれば、 執筆に費やした
Vowpal Wabbit (Fast Learning)
This is a project started at Yahoo! Research and continuing at Microsoft Research to design a fast, scalable, useful learning algorithm. VW is the essence of speed in machine learning, able to learn from terafeature datasets with ease. Via parallel learning, it can exceed the throughput of any single machine network interface when doing linear learning, a first amongst learning algorithms. We prim
AROW++ -- Yet Another AROW tool
AROW++ — Yet Another AROW tool Last update: Sun Jun 06 16:14:41 +0900 2010 Introduction AROW++ is an simple implementation of Adaptive Regularization of Weights [Crammer+ 2009], online learning algorithm for binary classification. AROW is efficient for learning tasks such as Natural Language Processing tasks that the data is high-dimensional, extremely sparse. AROW is an extension of confidence we
グラフラプラシアンで推薦
以前縁あって小町さんと一緒に仕事をさせてもらい論文に名前を載せてもらったのですが、会社だけでなく自宅でもちょっと使いたいなーということもあり、実装してみることにしました。 参考にしたのは以下の論文です。 ラプラシアンラベル伝播による検索クリックスルーログからの意味カテゴリ獲得 元論文と違うのは、インスタンス-パターン行列の要素を単純な頻度から別の尺度に変えている点です。 元々そのまんま実装してみたところ、非常にレアな場合なのですが、ジェネリックパターン1つのみと共起するようなインスタンスがあった場合に、これが上位に出やすくなるという問題が発生し、どうにかできないかなと模索していたところ、小町さんからアドバイスを頂き、それを基に手を加えています。 とりあえず動作検証のためにMovieLens Data Setsを使って実験してみました。 最初にデータのフォーマットをツールの入力形式へ変更。
GibbsLDA++: A C/C++ Implementation of Latent Dirichlet Allocation (LDA) using Gibbs Sampling for Parameter Estimation and Inference
GibbsLDA++: A C/C++ Implementation of Latent Dirichlet Allocation GibbsLDA++ is a C/C++ implementation of Latent Dirichlet Allocation (LDA) using Gibbs Sampling technique for parameter estimation and inference. It is very fast and is designed to analyze hidden/latent topic structures of large-scale datasets including large collections of text/Web documents. LDA was first introduced by David Blei e
Carnegie Mellon Machine Learning Lunch Seminar
All talks will be held on Mondays at Noon. Subscribe to the mailing list below for the room location. Lunch and drinks provided! Volunteer to give a talk today! Subscribe to the ML Lunch seminar announcement mailing list. Registration is open only to CMU or UPitt email addresses. Abstract Gating is a key feature in modern neural networks including LSTMs, GRUs and sparsely-gated deep neural network
ニューラルネットワーク入門 〜目次〜
ニューラルネットワーク入門 Copyright(c)1996 Akira Iwata & Toshiyuki Matubara (Iwata Laboratory Nagoya Institute of Technolgy) ０ はじめに 学習の進め方 １ 神経細胞とニューラルネットワーク 神経細胞 ニューロンモデル ニューロンモデルの数式化 ネットワークモデル まとめ ２ 階層型ネットワーク ２．１ パーセプトロン パーセプトロン パーセプトロンの動作と学習 パーセプトロン学習のシミュレーション パーセプトロンの限界 まとめ ２．２ バックプロパゲーション学習 最急降下法 前向き演算 後向き演算１（出力層から中間層） 後向き演算２（中間層から入力層） ＢＰのシミュレーション ＢＰシミュレータ まとめ ２．３ その他の階層型ネットワーク ネオ
確率的勾配降下法による行列分解を試してみた - のんびり読書日記
前々回のNMF(Non-negative Matrix Factorization)に続いて行列分解ネタです。言語処理学会全国大会のチュートリアル「推薦システム -機械学習の視点から-」で紹介されていた、確率的勾配降下法による行列分解を試してみました。チュートリアルの資料は公開されていないようでしたので、元論文の方のリンクを張っておきます。実際には同じ著者の別の論文を引用されてましたが、僕には下の論文の方が分かりやすかったのでこっちで。 MATRIX FACTORIZATION TECHNIQUES FOR RECOMMENDER SYSTEMS, Yehuda Koren, Rovert Bell, Chris Volinsky, IEEE Computer, Volume 42, Issue 8, p.30-37, 2009 作成したコードは以下に置いてあります。行列演算にEigenを
SVMのおまけ（多項式カーネル） - EchizenBlog-Zwei
昨日書いたSVMのカーネルは線形カーネル(というかただの内積)だったので、多項式カーネルにパワーアップ！させてみた。 参考: perlでSGD版SVMを書いてみた - EchizenBlog-Zwei といってもreturnをちょっといじっただけ。SVMは訓練データの影響がカーネル内で閉じているので、カーネルを色々置き換えるだけで様々な学習ができる。昨日の色分類の例ではRGB値の3次元で線形分離できてしまったので線形カーネルで十分だったのだが、折角なので多項式カーネルも用意してみた次第。さしあたり面白い適用例が見つからなかったのでカーネルのコードだけ置いておく。 sub kernel { my $x1 = shift; my $x2 = shift; my $p = shift; my $c = shift; my $k = 0; for (my $i = 0; $i < $d; $i++
perlでSGD版SVMを書いてみた - EchizenBlog-Zwei
SVM(Support Vector Machine, サポートベクターマシン, サポートベクトルマシン)をperlで書いてみた。 実装が簡単という理由からSGDによるオンライン学習を行っている。カーネル行列(グラム行列)をメモリに持っておかないといけないので本当の意味ではオンライン化されていないが、SVMを理解するためのサンプルとしてはSGDで実装するのは手頃ではないかと思う。 #!/usr/local/bin/perl # $Id$ use strict; use warnings; my $d = 3; # x ∈ R^3 my $n = 6; # number of training data my $t = 10; # iteration # label (warm color:1, cold color:-1) my @yy = (1, -1, -1, -1, 1, 1); #
gibbs sampling
3月に入って netwalker を購入しました。 電車通勤の時間を利用してコードを書きたいなと思っていたのですが、なかなかよろしい感じです。 といってもキーボードは使いやすいとは言い難く、長いコードは書きたくないですが... ということで、netwalker で作成したプログラム第一号を公開します。 第一号は gibbs sampling を使ったモチーフ抽出アルゴリズムの実装です。 前々から gibbs sampling について調べてはいたのですが、適度な練習問題が無く実装はしていませんでした。 今月になって購入したバイオインフォマティクスの数理とアルゴリズムにちょうど良い例があったので、それを実装してみました。 そもそもモチーフって何という話ですが、一言で言うとタンパク質の配列パターンの事を指すそうです。 私は専門ではないので詳しい事は分かりませんが、ここでは与えられた複数のタンパ
EM アルゴリズム実装(勉強用) - 木曜不足
最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん…… というわけで、Old Faithful の混合正規分布での推論を K-means と EM と変分ベイズについて、Ｒで実装してみる。 K-means Old Faithful + K-means については、すでに 前回の記事でお試し済み。 その記事では、イテレーションを１行で書いてネタっぽくしてしまってたので、わかりやすく整理したのが以下のコード。 距離を取るところは少し変えて短くしてある。 # Old Faithful dataset を取得して正規化 data("faithful"); xx <- scale(faithful, apply(faithful,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
第1回IBISML研究会 | 情報論的学習理論と機械学習 (IBISML) 研究会