世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022

世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022 世界中のITエンジニアが悩まされている問題の1つに、テストが原因不明で失敗する、いわゆる「フレイキーテスト」があります。 フレイキーテストは、リトライすると成功することもあるし、失敗する原因を調べようとしてもなかなか分かりません。GoogleやFacebookやGitHub、Spotifyといった先進的な企業でさえもフレイキーテストには悩まされています。 このフレイキーテストにどう立ち向かうべきなのか、Jenkinsの作者として知られる川口耕介氏がその最新動向を伝えるセッション「Flaky test対策の最新動向」を、4月21日、22日の2日間行われたイベント「DevOps Days Tokyo 2

[junorag]

コードかテストに問題が必ずあるみたいなコメントが多いが、名だたる一流の開発チームも苦労しているということから考えるに、そういう原理主義的な議論のフェーズはとっくに越えてる先のお話だと思う。

[Magicant]

他のブコメ、そもそも問題意識が共有できてなさうなものが散見され、ある意味幸せ者なんだらうなあと

[tobigitsune]

まさにこの記事にある通りの「教条主義的にフレイキーネスは絶対駄目なんだと言って周囲と摩擦を生む」人がブコメに散見されている

[tagomoris]

Flakyなテストと日常的に戦ったことがあるかで聞く側の理解がぜんぜん違いそうな内容 / ビジネスロジックだけだと意識しなくてもdeterministicにできることが多いから

[xlc]

実例をあげないと訳が分からず怪文書にしかなっていない。/ おそらくはテストを正しく書くのが難しくてテストにバグがあるという話。/ 前編は釣り針らしい。

[rasterson]

計算機は自然現象ではないので、必ず原因はある。以前、メモリーを連続アクセスしたら割り込み発生する基板には参ったが、特定できれば理屈は通った。「原因不明」=「追いかけることを諦めた」ですよね。

[tengo1985]

とくに後編がめちゃくちゃおもしろいな。あえてシステマチックに無視するというのはたしかに抵抗あるけど合理的なんだろうな。テスト削る決断もできないことが多い。

[maeda_a]

マルチスレッドとか並列プログラムのデバッグって、半世紀ほど前からの未解決問題。「単なるバグ」とか「突き詰めればわかる」とか言ってる人は容易に直列化可能な問題しか解いたこと無いんかも。

[ext3]

ジェンキンスと言われると未だに寿司を思い出す

[srng]

世界の上澄みエンジニアがそれでも悩んでいる話なのに小さいこと言ってるブコメが目立つ。大企業の問題に対して中小企業の論理で訳知り顔で語るみたいな

[richard_raw]

私は単純なプログラムしか書いたことないのでピンと来ませんが、ビッグテックも頭を悩ませている普遍的な問題なんですな。

[tick2tack]

フレイキーテスト。テストが原因不明な失敗をする。こういう言葉あるのね。

[harumomo2006]

昔ACCESS98から2000への移植をしたとき同じUPDATEを連続で3回実行している時間のかかる処理があったので1回にしたら時々更新できない謎の現象が発生したので3回実行に戻したことがある。それ以降見たことない謎現象

[Mofuyuki]

計測してフィードバックはtwadaさんもどこかで解説してたなあ。これ読むまですっかり忘れてた。/これこれ。これの1時間あたり。https://m.youtube.com/watch?v=C0UZXqIz80c

[dhrname]

正月のモチつきで、つく人Aが「お先にどうぞ」とダイクストラ・メッセージを発して止まると同時に、こねる人Bが「お先にどうぞ」と譲って、Aが先につく。これで、排他制御なしで、「食事する哲学者の問題」を解ける

[sasashin]

業務ロジックの単体テスト書いてるだけだとほぼ関係ないので…。

[zatpek]

“フレイキーネスの発生にはいくつかのよくあるパターンがあって”「坂道、四ツ辻、川の側」という感じでワクワクするな。

[frontline]

この話をスッと通すには受け入れる側に最低限の計算機科学的な知見が必要で、「環境なんてアプリが動くならいつだって一緒っしょ！」とか思ってるチームやリーダーには通じないのでウチで見かけても見ぬ振りしよ……

[lochtext]

ミッションクリティカル系ではそもそもこんなバグが出ない構築にするでしょ

[ryan_aircloset]

これはほんとに悩ましい。時間とか非同期とか原因が多岐にわたるのもまたつらいところだが、起きてから対処はもちろんテスト作るときにもっと対策を入れたいところ。

[yoshikidz]

むかしCybozuでFlakyTestの話上がってた気がするな。一番最初に自分が遭遇した時めっちゃ地雷踏んだ感が毎回出るwリリースのタイミングだと原因わかるまで焦るし、ネットワーク系とか特定の高負荷環境下だともっと焦る

[stamprally]

原因不明、じゃなくて同じコミットなのにテストが通ったり通らなかったりするやつのことな。だいたい非同期な処理か外部依存の何かが悪さしてんだろという印象。特定しづらいだけで原因は必ずある。

[strawberryhunter]

宇宙線によるビット反転というわけでもなさそうなので、原因としてはテストかコードに問題があるけど、観測しつつ無視するという事か。弊社にはまだ高度過ぎるな。

[queeuq]

まじで謎なやつあるんだよなぁ。FWのテスト機能がバグってるのかCIがおかしいのかメモリか静電気化お札か/川口さんのセッションだから海外で英語かと思ったら日本のイベントだったんだ。アーカイブ無いのかな。

[taguch1]

偉いエンジニアもはまってる問題だからお前らは黙っとれとかいう人たちは自分のチームでちゃんとコミュニケーション取れてますか。技術も大事だけど伝え方も同じくらい大事

[iga_k]

ランダムで失敗するテストに対する川口さんの考察

[mn112hr]

フレイキーとか言わないで、再現性不定、とか言えば良いのに

[naggg]

“テストが原因不明で失敗する、いわゆる「フレイキーテスト」があります。フレイキーテストは、リトライすると成功することもあるし、失敗する原因を調べようとしてもなかなか分かりません。”

[tokumaga]

“フレイキーネス”

[NOV1975]

「システムとしての挙動は正しいけど、結果を決め打ちして検証するテスト故に場合によっては通らない」ケースの話だよねこれ（バグではない）。まあ結果がバグなのかフレイキーなのかの判断って自動では難しいよね

[cyan0302]

バグとテストがこけることを同じ意味で語っている人が多いような...？

[aktkro]

googleでもgithubでも発生してるというところに安心と絶望を感じる

[asuka0801]

Flaky Testに出会った事がないというITエンジニアは要するに固定値でのテストしか経験した事がないんじゃないだろか。Fuzzingでも流せばどんなシステムであろうと何処かしらでエラー吐くよ。

[kamocyc]

ユニットテストだけ書いてるレベルじゃなくて、複雑なE2Eテストや複雑な分散システムのテストが大量にある状況で初めて問題になるので、「世界中のITエンジニアが悩まされている」が不正確なのでは？知らんけど

[onesplat]

超良い発表。FBがベイズ推定で真偽判定してるの面白い / この記事が理解できないとか、ただのバグでしょとか言ってる奴らは、恐らく決定論的で簡単なコードしか書いてないのだろう。ある意味で幸せ者なのかもしれない

[Error401]

正しいプロダクトコードに対して（ほぼ）正しいテストコードでテストしたら、大抵はパスするが、なんらかの要因でごくたまに失敗するテストコードが存在するという話。簡単に原因がわかないときにどう対処すべきか？

[Kenju]

1日に1回動くバッチが、数年に1回だけエラー停止する。どう調べてもコードに問題はない。そのままの環境でリトライすると正常終了する。すごく厄介。

[latena]

たとえば金融とか医療みたいな領域とエンタメとか教育みたいな領域とを一緒くたにしてフレイキーテストを語ることはできないとおもった