意図的にプログラムの動きをランダムにしてバグを早期発見するテクニックについて｜Rui Ueyama

プログラムを書いていると、素直に実装した結果として毎回特定の条件が満たされているけど、本来それは誰も保証してないという場面に出くわすことがよくある。保証されていない偶然の動作に依存することで生じるバグというのはかなり多い。 例えば最近では、ドラゴンボールZ ドッカンバトルというゲームで、2回SQL文を実行した結果が同じ順序で並んでいるという誤った期待をしているコードがあったせいで、ガチャの確率表示がめちゃくちゃになってしまって、運営が確率操作しているのではないかという騒動が発生したことがあった [1]。データベースでは空のテーブルにデータを追加してその直後に読み返すと、データを追加した順番に結果が返ってきたりしがちなので、問題のコードはきれいなテスト環境では偶然うまく動いてしまったのだろうと思う。 上のようなバグを防ぐために最近よく使われているのは、本来保証しないところをわざと壊すという方

[nv-h]

適当にテストする前にカバレッジちゃんと見よう。カバレッジちゃんとする前にテスト設計しよう。その前提でfuzzingが活きると思う(組み込み脳)。

[u_mid]

なるほどなぁ / ✕ガチャの確率がめちゃくちゃになってしまって　◯ガチャの確率"表記"がめちゃくちゃになってしまって

[roirrawedoc]

内容読み取れてないブコメに☆集まってると不安になる

[napsucks]

Chaos Monkeyが故意にインフラをぶっ壊しまくるのを思い出した

[y___u]

Chaos Engineeringだ

[temmings]

“Goでは、言語組み込みのハッシュテーブルをイテレートするときの順番が、意図的に乱数を使ってランダム化されていて、同じプログラムを実行しても、要素を訪れる順番が毎回異なるようになっている”

[masaru_b_cl]

不定は不定になってるほうがたしかにいいよなぁ

[Rockridge]

次世代TCPともいうべきQUICプロトコルでは、「コネクション確立の最初のネゴシエーションのときに、サーバは（注：バージョン番号に関し）ランダムなダミー番号をレスポンスに入れることが推奨されている」。

[YuichiTanaka]

“例えばGoでは、言語組み込みのハッシュテーブルをイテレートするときの順番が、意図的に乱数を使ってランダム化されていて、同じプログラムを実行しても、要素を訪れる順番が毎回異なるようになっている。”

[kathew]

ドッカンそういう事だったの

[field_combat]

言語仕様の理解があいまいなまま実装してる時ある

[shozzy]

なるほど

[mak_in]

C#のxunitはテストの実行順序がランダムなのだが、GitHubのIssueで開発者がこのポリシーとともに「順序を意図通りになんてやらせないぜ！！」と強い主張があった。xunitは他にも原理原則を貫いてて時に辛いことがままある

[koogawa]

“きれいなテスト環境では偶然うまく動いてしまったのだろう” あるあるだ

[versatile]

ドッカンの件はそういう話しだったのか。エンジニアがふえてくるとこの手の暗黙的なものに依存したバグ多くなってそうだねぇ

[knok]

fuzzingけっこう普及したよね。Linux kernelでもやられるぐらいに。自分は昔webでやってた。fuzzingと違うところだとchainerはNNの重み初期値の乱数シードを指定できて再現性を確保してる

[bopperjp]

スケジューラのランダム化(というか通常と異なるタイミングでのスレッドスイッチ機能)は、某組み込み向けJavaVM実装であったなー。

[KoshianX]

仕様より処理系の挙動をつい優先しがちだからのう。たしかに有用な時もあるかもなあ

[JULY]

何が保証されていないか、という事を知っているか否かは、結構大きいよなぁ。例えば TCP のソケット通信で read できた時、送信したデータの全てが読める訳ではない、とか。

[keijak]

Go の map でこれをやること自体は否定しないけど、deterministic にする必要があるときに、ジェネリクスも組み込みの ordered map も無いので明示的にキーででソートするコードを毎回書かされるのはちょっと面倒。

[massa142]

"ハッシュテーブルの内部の順番というのは実装依存で、Goのバージョンによって異なるかもしれないので、Goではあえて毎回暗黙の前提を壊す"

[imatubu]

おもしろい試みではある

[tasukuchan]

failmallocの話おもいだした

[chOn]

ソート順のテストってソートしてないキーもinsertした順だったりそうじゃなかったりする。 PTだと証明すんの難しいから本来ならキー×2でいいデータがキー×3はないと証跡として残せない。

[pixmap]

これは広まってほしい。

[ohbarye]

賛否両論あるやつだ。自分は肯定的だが

[Palantir]

fuzzingとは違うような…。 初期値が保証されてない言語で一般的にはゼロきなるときに、Deadbeedっていれとくみたいなのが近い印象 デザイン思想

[fan-tail]

ファジング？セキュリティテストだと割と一般的な手法な気がしますが。

[kazoo_oo]

なるほど。

[lasherplus]

m

[akatakun]

Goでは、言語組み込みのハッシュテーブルをイテレートするときの順番が、意図的に乱数を使ってランダム化されていて、同じプログラムを実行しても、要素を訪れる順番が毎回異なるようになっている