アニメ推薦くんの精度について - はこべにっき ♨

今季見るべきアニメを機械学習で推薦する に対してなんか精度評価のしかたおかしくない? とご意見をいただきました (指摘1, 指摘2 ) 調べたところたしかにいろいろおかしくて、F値が0.9をこえるスコアも実際よりもかなり高いことがわかったのでご紹介します。ご指摘ありがとうございます :bow: 。 おかしかったところ 教師データをあたえるときには1とラベル付けされたデータと0と、ラベル付けされたデータの数が同じになるように、オーバーサンプリングしました。 と元の記事にはあったのですが、このオーバーサンプリングが問題でした。オーバーサンプリングを教師データとバリデーションデータに分ける前に行ってしまっていたため、同じアニメの特徴とそのラベルが教師データとバリデーションデータの両方に含まれていました。 教師データに含まれるアニメを正しく分類できるのは当然ですから、教師データと同じアニメをバリデ

[chezou]

特徴次元が多くてスパースなデータだと思うから、真面目にチューニングしたlinear SVCとかと比較しても良いかも。個人的にはサンプル数も倍くらいほしい気持ちにはなる

[laughing]

マサカリへのアンサー

[georgew]

スタッフの情報からアニメを分類するのはどこかで壁があってもうすこし他の情報が必要なのかもしれません > 身に染みる考察。機械学習の成否はとにもかくにも特徴量の選択に尽きる。