機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活

機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行本（ソフトカバー） テスト駆動P

[Keisuke69]

これも後で読む

[zou3dazou]

"フレームワークのバグを検出する場合には、複数のフレームワークで同様のアルゴリズムの実装を行い、そのときの挙動の比較を行うというのが一般的のようです。"

[misshiki]

“不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになって”

[masadream]

網羅的にまとまっている。

[masaki925_8107]

めちゃくちゃ価値のある体系化だ。これらを網羅実践できてるとこあんまり無さそう。アドテク界隈はここらへん先行してそうだけどどの程度現実的な実装に落とし込めてるのか気になる (ﾁﾗｯ

[jsstudy]

機械学習の精度に関するテストとして広く用いられる手法はクロスバリデーションとブートストラップサンプリングかと思います。