自動テスト速度改善 - 自動テストが品質のボトルネックとならないために - freee Developers Hub

freee人事労務の品質改善を専任で活動している keik です。 freee人事労務ではアプリケーション開発の自動テスト環境として CircleCI を利用しています。すべてのコードの変更は GitHub 上の Pull Request を経由して行われますが、Pull Request のマージ条件の一つとして自動テストをパスすることを求めるようにしています。 つまり、どんな些細な変更であっても、急ぎの変更であっても、リリースするためには基本的には自動テストの結果を待つ必要があります。一方で、コードベースは日々成長しており、それに比例して自動テストの実行時間も長くなっています。 ここに、ゆっくりと、ジレンマが生じはじめます。 品質を高める目的の自動テストだが、実行時間が長いと品質のボトルネックになりうる。 具体的には以下のようなシナリオが考えられます。 些細な改善が億劫になる（自動テスト

[onk]

スキップ時にコメント付けるの面白いな、真似たい

[stefafafan]

これね "Flaky Test が一つでも残存することに対してチーム全体が課題意識を持てる状態"

[irimo]

自動テストの時間は何をしてるのが最善なんでしょう。Twitter見てしまいます。逆に自動テストの時だけ見る、みたいにご褒美制にしてみようかな。

[Kesin]

長年の運用で積もってしまったテストコードの負債を丁寧に返していて参考になる

[tofu-kun]

地味だけど丁寧

[door-s-dev]

分かりみしかないんだけど、ここまでやるのにどれだけ工数かかるのかが問題なのよね...