CI で稀に失敗してしまうテストへの対処方法 - クックパッド開発者ブログ

技術部の福森です。 クックパッドでは RSpec と Jenkins を利用して CI による自動テストを行なっています。 テストの数は 12000 examples を越えていて、テストによっては稀に失敗する物が出てきています: 時間帯依存で失敗してしまうもの 他に同時に実行されるテストに依存しているもの (並列実行で組合せが変わり再現する) インテグレーションテストでの ajax リクエストの微妙なタイムアウト etc また、本番環境を壊さないよう、 CI で成功したリビジョンのみデプロイ可能となっており、開発者が push しデプロイしたいと思っている時に無関係な原因で失敗する事を避けたいという欲求があります。 なぜなら、再度ビルドを実行する時間 (およそ 10 分) の間待たされる事になるからです。 そこで、そのようなテスト起因での失敗を減らし、かつ開発者にそれらを修正してもらうた

[sora_h]

書きました

[t-wada]

特定の条件で自動で issue を上げるのは面白い取り組みだなぁ

[willnet]

さんこうになる

[anconium]

夜中デプロイを繰り返して12000のテストからバグを再現し、RSpecからJSON吐き出してgit blameでtxtにしてgithubのissueを作成して担当者をアサインするところまで自動

[letsspeak]

Jenkinsの話 CI で稀に失敗してしまうテストへの対処方法:

[harukasan]

自動issueよいなー

[miya-jan]

不安定なことが判明しているテストだけをリトライする仕組みが素晴らしい！

[oppara]

CI で稀に失敗してしまうテストへの対処方法 | クックパッド開発者ブログ

[sonesuke]

CI で稀に失敗してしまうテストへの対処方法 (via @Pocket)

[an-ironic-man]

「夜間に繰り返し実行し、稀にあるいは深夜に再現する失敗を発見」「翌月初をシミュレートし、月初に失敗するテストを発見」「GitHub APIを利用してissueを作成して修正を依頼」。贅沢が許されるならCI環境整えたいなぁ

[d14a]

「夜間に最後に成功したリビジョンを繰り返し実行し、稀に、あるいは深夜に再現する失敗を発見しやすくする」「timecop.gem を利用(略)月初に失敗するテストを発見しやすくする」

[mas-higa]

"2 ヶ月で作動した 19 回の内、10 回は失敗になるはずだった" えっ!?

[hoisjp]

いいね。

[griefworker]

特定のテストに失敗したらリトライしたりイシューを登録するのいいね。

[csouls]

そんなにテストがあったら機能の修正にめっちゃ時間かかりそう。でも、品質大事。

[efcl]

失敗するテストのリトライや集計での修正依頼の自動化

[ainame]

出社したら読む

[asuka0801]

ビルド10分とかどんだけモンスタースペックのPCでビルドしてんだｗ

[fujikawa-y]

ちょうど、RSpec × Jenkinsをやりたかったので参考になる

[gongoZ]

テスト速度早めたいってのもあるけど、これみたいに「普段は問題ないけど稀な失敗・再現しやすい失敗するテスト」ってのを追求して直すのも大事やなー。なんか仕組み作らないと。

[kimutansk]

テストコード失敗への対応依頼自動化と自動リトライですか。できると効率高いでしょうねぇ

[ryonext]

よく落ちるので参考にします。

[hush_in]

そらはーさん！！

[kazubond3]

自動テスト導入したいわー

[inurota]

回転速度にフォーカスしてて良い

[uzuki-first]

技術部のそらくんだ！

[itochan315]

知ってる名前だ

[yatemmma]

allnightジョブ

[mathemathiko]

ビルドに10分しかかからないのか。。

[aereal]

very cool

[iori_o]

よくある稀に失敗