機械学習におけるカーネル法について - めもめも

何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変

[bohemian916]

よく分かんない人は、ここでパラメータいじってカーネルトリックで遊ぶと分かった気になるよ　http://shogo82148.github.io/homepage/memo/algorithm/svm/kernel.html

[santo]

カーネル法が初めて腑に落ちた感じ。今まで適当に理解してたんでお恥ずかしい。だからこれ、元のデータの段階で次元数高いとあんまり効果なかったのですね。元次元高いならrandomforest的な方が手っ取り早いと。

[itochan]

むずい。効率を気にしなければガウスカーネル万能だから気にするな、でいいのかな。

[phare]

“ただ、(2) の形が本質的にk近傍法と同等なのは変わりなく、トレーニングデータとの「距離」K(x,xn) によって、点 xのラベルを判断しているという事実は変わりません。"

[stealthinu]

カーネルトリックについて今までで一番わかった気になれたエントリ。ほんとに理解出来てるのかは謎だけど、無限個のΦの説明の流れがわかりやすい。ガウスカーネルのあたりでもうついてけないが…

[th_6295]

細かい式は読み飛ばしたけど、知らないなりに興味深い内容だった。

[kana0355]

“k近傍法における、kの値を大きくすることと同等の効果になります。”

[fixxman]

“プロフィール”

[karaage]

カーネル法ってSVMだけじゃないのって思ってたけど、そうでもないのね、素人でした。ちなみに中身は自分にはさっぱりわからんちんです

[knife-licker]

わかりやすい

[s0sem0y]

K近傍法との話でハッとしました。

[yasudayasu]

左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器ではうまく分類できないのが、 z 軸を追加しデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというもの

[ryuukakusan]

サンダース

[taichitary]

あとでしっかり読みたい