K-meansのクラスタ数を決めるのにエルボー法を使うのはやめよう、という論文 - 渋谷駅前で働くデータサイエンティストのブログ

クラスタリングに用いられるK-meansのクラスタ数決定方法については長く議論されてきた歴史があり、このブログでも以前ちょろっと取り上げたことがあります。 で、Twitterを眺めていたらタイムラインに面白い論文が流れてきました。それがこちらです。 タイトルを読んで字の如く「K-meansのクラスタ数を決めるのにエルボー法を使うのはやめろ」という論文なんですね。全体で7ページと非常にコンパクトで読みやすい内容なので、簡単にまとめて紹介してみようと思います。なおいつもながらですが、僕の技術的理解が不足しているが故の誤りなどが混じる可能性がありますので、その際はコメント欄などでご指摘くださると幸いです。 あるtoy dataに対するK-meansの結果 目検に頼らないエルボー法について考える ならば、既存のクラスタ数決定法の中では何を選ぶべきか そもそもK-meansが有効でないケースもあるこ

[hr-tachikawa]

まとめありがたい。 “結局データを丁寧に見ながらやるしかない” に尽きるけど、今回の指標も参考にはなるね。

[fileo]

実データ肘ないよねというのある

[misshiki]

“「K-meansのクラスタ数を決めるのにエルボー法を使うのはやめろ」という論文なんですね。全体で7ページと非常にコンパクトで読みやすい内容なので、簡単にまとめて紹介”

[nekoluna]

　みんな大好き K-means

[short13]

データに対してクラスタリングする際、クラスタリング手法×クラスタ数決定手法の組み合わせをいかに上手くとるかにかかってるから、けっこう試行錯誤が必要になるよね。データを丁寧にみながらは本当にそう。

[napsucks]

クラスタ数kはハイパーパラメータだと思ってた。自動で決めれたのね。

[cartman0]

そもそもkmeansって初期値依存性高かったような