セキュリティツールの評価は難しい - knqyf263's blog

前から思ってたことをちょっと書かずにいられなくなったのでポエムを書きました。 背景 問題 検知している方が正しいように見えがち 条件を揃えるのが難しい 環境の再現が難しい 検知数が多い方が良さそうに見える 正解かどうかの判断が難しい カバー範囲の正確な見極めが難しい 検知されないほうが嬉しい まとめ 背景 お前誰だよってなるかもしれないので書いておくと、Trivyという脆弱性スキャナーのメンテナをやっています。 github.com とある有名な方による以下のツイートがありました。 I just discovered, during @cloudflare #SecurityWeek no less, that Trivy (the vuln scanner) doesn't detect known issues in Alpine images. Including a critica

[uunfo]

Cookieをウイルスのように報告して仕事してますよ感出すウイルス対策ソフト、あったよね。今もそうなのかな

[gfx]

（スキャンツールの比較に際して）"結果が違うのであればどちらが正しいのかを考えるべきなのですが、検知している方が正しく見えてしまうという罠です"

[sezemi]

“日々「お前のツールバグってるぞ！」と言われ続け「いえ正しいです」と返すのは結構精神的に来る” これはツラい

[heppokopg2013]

人間には厳しい方が正しく見えるバグがあると思うんだよな。社内ルールがだんだん厳しくなるのも同じ理屈。

[JULY]

よくあるのは、バージョン番号見て報告するやつ。Linux のディストリビューション側が、バージョン番号を変えずに、バックポートしたパッケージを配布することが多いから、False Positive になりがち。

[pqw]

RHEL修正版～CentOS修正版の間にラグもあるし条件合わせないと比較なんかできないよね。「パッチがなければactionableではないため非表示にしたいという組織が多いです。本当は非表示をデフォルトにしたかったのですが」

[shidho]

これは実世界でもそうで「雷になる静電気を散らすことで落雷そのものを減らす避雷針」(実際に売ってる)の評価が、実際に落雷が起きるまでできないと言うね。(実は落ちても評価できない)

[umisora2]

アラート出す方が売れる説わかるなー

[rti7743]

鳴かない番犬は役立たずだし、誤報が多くて鳴りすぎる警報器はスイッチを切られて無視される。ならオプションで・・デフォルトしか使われない

[mano-junki]

大人の事情が多分にあり悩ましい話題だった

[tmatsuu]

セキュリティ界隈のマサカリはプログラミング界隈よりも尖ってる印象がある。

[diveintounlimit]

わかりみが深かった

[nilab]

セキュリティツールの評価は難しい - knqyf263's blog

[mas-higa]

"本当は非表示をデフォルトにしたかった" 表示してた方がユーザにやさしい気がする。よく分かってない人が使うなら尚更。/ "やがて誰も信じなくなります" それは確かに。

[jgoamakf]

Pythonプログラムの脆弱性をチェックするツールをいくつか試したけど「これはウチのアプリではどうでもいいんだよな……」という項目が結構出てきたことがあった（関係あるような無いようなコメント）

[ledsun]

運用に入るとfalse positiveもactionableでない脆弱性も困るんだよね。でも、運用に入る前は運用のつらみは想像できなくて…。緩めのルールから徐々に固くしてくのがいいけど、専門外のことほど一発で終わらしてほしくなる

[maruware]

わかりみが深くて自省する部分ある

[rideonshooting]

昔ウイルスバスターの誤検出と戦い続けた人の話もあったねえ…

[eru01]

いっぱい出したら出したで対処されないからな

[xKxAxKx]

“検知している方が正しいように見えがち”

[kasahannra]

IPSの運用も難しい、プロに任せるべき

[kazokmr]

以前、False Negativeが一つでも出るなら、使ってるライブラリとバージョンをスプレッドシートに書き出して一つずつ調べた方が信頼性があるって言われたことがあったなぁ。

[tkysktmt]

“こっちのツールでは検知したけどこれってどっちが正しいの？」みたいなスタンスのほうが嬉しい”

[circled]

まぁフレームワークとかでもファイルアップロード時に脆弱性があるとかいう報告が出てきて、再現手順見るとそいつのコードの書き方に問題があって、ドキュメント読めとか総ツッコミにあってるパターンとかあるので。

[natu3kan]

リスクが低い事にもアラートがなるとアラートが狼少年みたいなノイズになるのはあるよな。

[inductor]

ECRの機能リクエストはここです。いいねを増やしたい。 https://github.com/aws/containers-roadmap/issues/568

[kaakaa_hoe]

厳しい方がよく見えるけど、厳格にしたところでどうせ放置されるんでしょと言う感じも / あと、脆弱性情報は共有知であるべきというNVDと、独自の脆弱性DBを競争力としてしまうセキュリティ企業のカルマもモヤモヤ

[urandom]

"「あれ、これバグかな？」となったらIssueを起票してバグであることを確かめてから発信"　初手でSNSとかに書いちゃうのは大変よろしくない。気にするあまり完全に確信できるまで報告できないのもよくないけど（自戒）

[poko78]

やっぱり難しいよな

[Helfard]

反論消えてないか？

[hiroomi]

検出しやすい静的解析ツールを見てると、保守料金もよい金額なのであきらめてやめるか、それも飲んで、サプライヤーの納品ツールとして使ってる会社さんとかがあるね。

[causeless]

"@knqyf263 思い立ってポエムを書いてしまった" from https://twitter.com/i/web/status/1503490301872254978

[KQwYB1pi]

「関わらず」❌ 「かかわらず」「拘わらず」⭕️