はじめに 「100種類の学習済みモデルの性能調査をしておいて、テストデータは10種類あるよ」 こう言われた場合、作業の方法は複数ある。 1. 1000(100 x 10)回試験を実行する。 2. プログラムを書いて自動化し、1回の実行で1000回試験を行えるようにする。 3. テストデータを1つに結合して100回試験を行い、後で10種類に戻す。 1はどんなに1回の試験に時間がかからなくてもまず選択しないだろう。プログラムに多少自身があるならおそらく2を選んだのではないか。 2を選んだ理由は「自動化できてるから待ってるだけで終わる」とか「人的ミスが減り、時間がかからないから」などが挙げられるだろう。 しかし、プログラムの作成に1000時間かかっていたとしたら?それなら3(もしくは1)が最も成果を挙げられる方法となる可能性がある。 また、プログラムの作成に時間をかけて、そのプログラムが今回の試