MSVMpack - a Multi-class Support Vector Machines package
MSVMpack: a Multi-class Support Vector Machine package by F. Lauer and Y. Guermeur, members of the ABC research team at LORIA MSVMpack is an open source package dedicated to multi-class support vector machines: SVMs which can handle classification problems with more than two classes without relying on decomposition methods. The aim is to provide a unified framework and implementation for all the d
Java version of LIBLINEARを使ってみる | mwSoft
導入 ダウンロードは公式サイトから。 jar1個で動き、依存ライブラリはなし。Mavenのセントラルにも置いてある。jarファイルは51KBと超軽量。BSDライセンス。 とても使い勝手が良さそう。 JavaDocはこちら。 train LIBLINEARはtrainで学習して、predictで結果予測を出力する。 とりあえずtrainしてモデルを出力してみる。ファイルはC++版を落とした時に付いてくるサンプル、heart_scaleを利用。 heart_scaleは下記のような行が記述された270行のファイル。1〜13までの要素に対してそれぞれ値が入っており、最初の列に+1/-1という評価が入れられている。これを使って学習することで、別の1〜13までの要素を持った値に対して、+1/-1を判別できるようになる。 +1 1:0.708333 2:1 3:1 4:-0.320755 5:-0.1
劣微分を使った最適化手法を紹介しました - 射撃しつつ前転 改
新年明けましておめでとうございます、というのもはばかられるような時期になってしまいましたが、今年もこんな感じでのんびりとやっていきたいと思います。よろしくお願いします。 会社ブログの方で、劣微分を使った最適化手法として、FOBOSを紹介しました。線形識別器とは、というところから話を始めたら、実際の論文紹介にたどり着くまでに4回もかかってしまいましたが、何も知らないところからFOBOSでSVMが書けるというところまで、早足ですが一応一通り紹介したつもりなので、FOBOSに興味があるけどまだ論文読んでない、という人はぜひチェックしてもらえればと思います。使えるカーネルは線形カーネルか多項式カーネルぐらいに制限されてしまいますが、実用的なSVMが簡単に作れるというのは結構大きいですよ。ちなみに、FOBOSのところではSVMしか説明していませんが、第2回ではロジスティック回帰をSGDで最適化、とい
OpenOpt使ってSVM書いた - きちめも
追記(5/19):ガウスカーネル2乗してなかった。コード書き忘れ訂正--); ついでに画像も変更 SMO法使った前のエントリは、殆どpureにpythonでコード書いてたせいか、結構時間がかかっててイライラ。ということでOpenOptの二次計画のソルバー使って手抜きに疎な解を求めてみたの巻。 結果はテストデータ200個の↓の図だと200倍の差が…。scipy+OpenOptぱない コーディングもあっと言う間だし…その…何というか…一昨日の努力は…一体…。まぁデータ200個と少なきゃメモリにのるしね…。 以下適当に書いたpythonのコード。相変わらずグラフの描画とかのコードの筋が悪い気がしてもにょいぜ。 #!/usr/bin/python # -*- coding: utf-8 -*- from scipy import * from scipy.linalg import norm fr
カーネル法
カーネル法 線形回帰、識別からカーネル関数へ y ( w ) = wT φ (x ) という一般化した線形回帰式に対して 2 1N λT T J ( w ) = ∑ {w φ ( x n ) − tn } + w w 2 n =1 2 ただし ⎛ φ1 ( x n ) ⎞ ⎜ ⎟ φ (x n ) = ⎜ M ⎟ ⎜ φ (x ) ⎟ ⎝M n⎠ tnはw T φ ( x n )がとるべき値。 ( Mは教師データの次元数 , Nは教師データ数) という正規化項つきの２乗誤差を考えるとき、 φ (x )についてもう少し組織的に考えてみよう。 カーネル関数と呼ばれる k (φ (x ), φ ( y )) で回帰や識別を考え直す ことにより、より効率の良い方法が見えてくる。 双対表現 まず、正規化項つきの２乗誤差関数を考える。 J ( w) = 1 2 ∑ {w φ (x
LIBSVM -- A Library for Support Vector Machines
Chih-Chung Chang and Chih-Jen Lin Version 3.32 released on July 9, 2023. We fix some minor bugs. Version 3.31 released on February 28, 2023. Probabilistic outputs for one-class SVM are now supported. Version 3.25 released on April 14, 2021. Installing the Python interface through PyPI is supported > pip install -U libsvm-official The python directory is re-organized so >>> from libsvm.svmutil impo
070809titech.dvi
池田: サポートベクトルマシンの漸近論 サポートベクトルマシンの漸近論 池田 和司 京都大学 情報学研究科 システム科学専攻 東京工業大学 総合理工学研究科 知能システム科学特別講義第 2 2–3 Aug 2007 池田: サポートベクトルマシンの漸近論 ランダムな直線群 問題: ある点のまわりにランダムに直線を引いた時， 点を含む領域は何角形になるだろうか． • この問題がパーセプトロンの学習理論において重要． 東京工業大学 総合理工学研究科 知能システム科学特別講義第 2 2–3 Aug 2007 池田: サポートベクトルマシンの漸近論 単純パーセプトロン 入力 (x1 , x2 , . . . , xN ) ∈ RN , 出力 y ∈ {+1, −1}. N y = sgn n=1 wn xn − h = sgn [w x] ⎧ ⎨+1 s ≥ 0,
Classias - A collection of machine-learning algorithms for classification
Averaged perceptron Limited-memory Broyden-Fletcher-Goldfarb-Shanno (L-BFGS) [Nocedal80] Orthant-Wise Limited-memory Quasi-Newton (OWL-QN) [Andrew07] Primal Estimated sub-GrAdient SOlver (Pegasos) [Shalev-Shwartz07] Truncated Gradient [Langford09], これはL1正則化に特殊化したFOrward LOoking Subgradient (FOLOS) [Duchi09]としても知られています
paper.dvi
Pegasos: Primal Estimated sub-GrAdient SOlver for SVM Shai Shalev-Shwartz SHAIS@CS.HUJI.AC.IL School of Computer Science and Engineering, The Hebrew University, Jerusalem, Israel Yoram Singer SINGER@GOOGLE.COM Google inc., Mountain View, USA and The Hebrew University, Jerusalem, Israel Nathan Srebro NATI@UCHICAGO.EDU Toyota Technological Institute, Chicago, USA Abstract We describe and analyze a
ソフトマージンSVM - 人工知能に関する断創録
前回（2010/5/2）のハードマージンSVMでは、データに重なりがある場合、下のようにちゃんと分類境界を求められませんでした。今回は、重なりのあるクラス分布に対応できるように拡張してみます。このようなSVMはハードマージンSVMに対してソフトマージンSVMと呼ばれます。別名としてC-SVMとも呼ばれるようです。 PRMLの7.1.1にあるように、データの誤分類を許すようにSVMを修正します。ハードマージンSVMでは、データ点がマージン内（-1 < y < 1）に絶対に入らないことを前提にしていましたが、ソフトマージンSVMでは「入ってしまったものは仕方ない、だがペナルティを与える！」と少し条件を緩めます。 まず、スラック変数ζ（ゼータ）をデータごとに導入します。スラック変数は、データが正しく分類されかつマージン境界上または外側にある場合は0、正しく分類されているがマージン内に侵入してしま
SVMコード
SVM（SMO法）のコードを載せておきます。理論についてはこちらをどうぞ。 2011.9.18追記： ここでも書いたのですが，引数 target は -1 or 1 と設定頂く方が正しいはずです。(理論的にも正しいはず) 初出時は簡単なテストデータで動作確認を行っていたためか 0 or 1 でも動作確認が取れていたよう記憶しています。本格的に学習させる場合には 0 or 1 では学習が収束しませんでした。 大まかな流れ SMOではラグランジュ未定乗数が教師データの数量分作成されます。これらを下記の処理フローで更新していきます。 ラグランジュ乗数の更新評価は１つずつ順番に行い，全ての評価を終えたところで実際に更新が行われたかをチェックします。1件でも更新したものがあれば，更新の作業を続けていきます。 下記のコードでは，個々のラグランジュ未定乗数の更新チェックはexaminUpdate()で行
サポートベクターマシン （SVM）
サポートベクターマシンについて，情報源に関するメモを纏めておきます。 ▼ 参考書 Marahon Match用に次の参考書籍を購入しました。 サポートベクターマシン入門 理論から実践(インプリ)まで一通り書かれていて良い本だと思います。機械学習の基礎となるところから書かれていますので，機械学習の入門書としても良いように思います。 また，各章の最後に「さらなる文献と話題」の節が設けられ，参考文献の紹介が充実しています。 ▼ Web公開の資料 サポートベクターマシンは旬な技術なようで，数多くの資料が公開されています。（特に大学の研究室での公開資料が多いですね） 今回は，以下の資料を参考にさせて頂きました。 痛快!サポートベクトルマシン (CiNii)SVMの2次計画問題に関する解法の考察 (東京理科大学)Support Vector Machine を用いたカット点検出とそのシステムの構築 (
SVMにおける2次計画問題の解法に対する考察
SVMの 2次計画問題に関する解法の考察 東京理科大学工学部経営工学科 沼田研究室 4400079 戸田健一 卒業研究発表 1 発表構成 1. はじめに 2. クラス判別とSVM 2-1. クラス判別問題 2-2. サポートベクターマシン 2-3. 線形分離不可能な場合のSVM 2-4. 非線形SVM 3. 4. 5. 6. 7. Sequential Minimal Optimization(SMO) 2段階SMO 実験 実験結果，考察 まとめ 参考文献 2 1.はじめに パターン認識問題におけるクラス判別手法： サポートベクターマシン(SVM)[1],抄録[3] SVM：2次計画問題を解く →データが多くなるにつれて計算量が非常に多くなる Sequential Minimal Optimization (SMO) [2],[3],抄録[1],[2]： SVMによる2次計画問
サポートベクターマシン
サポートベクターマシン 赤穂昭太郎 産業技術総合研究所 2006.7.6～7 統数研公開講座 「カーネル法の最前線―ＳＶＭ, 非線形データ解析, 構造化データ―」 目次 1. サポートベクターマシン(SVM)とは 2. SVMの仲間たち 3. 汎化能力の評価 4. 学習アルゴリズム 5. カーネル設計の基本 1.サポートベクターマシンとは？ • サポートベクターマシン＝ 「線形モデル＋高次元写像＋正則化」の一つ （ほかのカーネル法と基本的に共通） • 計算量を少なくするいくつかの工夫 – 凸２次計画法 – スパース表現 – カーネルトリック • ローカルミニマムの問題がない 識別問題 • 入力 x を二つのクラスに分類する関数 を学習する （１クラスあるいは３クラス以上の場合は後で考える） 例： 文字認識、遺伝子解析、データマイニング、 spam filter • 学習サンプルから学習 •
AI Ruby Plugins
AI Related Ruby Extensions This page will maintain list of AI related libraries for the Ruby programming language. Please contact me if you know something I missed. (I plan to migrate this to a wiki soon). While maintaining this list, I have induced* a theory: If a project's first public appearance is documentation without code, code will not appear before the heat death of the universe. * Induc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
nips.dvi
2008-03-31 - k.kinukawaの日記
http://www.bi.a.u-tokyo.ac.jp/~tak/index.html
Microsoft PowerPoint - 10SVM-Kernel-訂正.ppt [互換モード]