嘘、大嘘、そして (Cloudflare の) 統計 : Cloudflare のパフォーマンステストの欠陥を証明

嘘、大嘘、そして (Cloudflare の) 統計 : Cloudflare のパフォーマンステストの欠陥を証明 数週間前、Fastly の競合企業の一つである Cloudflare が、自社のエッジ・コンピューティング・プラットフォームは Compute@Edge と比べて約3倍も高速であると 自社のブログ記事で断言しました。しかし Cloudflare によるこの見当違いな主張は、事実とは異なる印象を与えるために統計が利用されるリスクについて学ぶ良い機会でもありました。この記事では、Cloudflare のテスト手法を分析するとともに、より有用で科学的な比較による結果をご紹介します。 世の中には「嘘、大嘘、そして統計」の3種類の嘘が存在すると言われています。これは統計の説得力を皮肉った言葉であり、統計の中には信用できるものもありますが、今回 Cloudflare が公開した統計は明ら

[inductor]

"Cloudflare の利用規約では同社のサービスを使ったベンチマーク調査を実施することは禁じられている" Cloudflareが競合との調査比較してるのに、逆は規約違反になるのか。なんかもやもやする。

[gabill]

“JavaScript の代わりに、Rust からコンパイルされた Wasm バイナリを使用” これもズルくない？

[osugi3y]

“とにかく、Cloudflare Workers が Compute@Edge より196%高速であるという発言は、確実に間違っています。実際、Workers は Compute@Edge よりもまったく速くありません。”だいぶオコだね。

[axljpn]

激おこなのはよくわかった

[amebacore]

せめて第三者に検証してもらわないと何も言えない。

[hatomugicha]

防弾

[mysql8]

嘘、大嘘、そして (総務省統計局 の) 統計

[susuharai]

おこ

[daaaaaai]

めっちゃ怒ってる

[t_43z]

激おこ

[suyasite]

自社調査レポートの数字がまったく当てにできないことの例。CloudFlareの調査結果に競合のFastlyがゲキオコ。国内サーバー会社もやりがち。

[yasushicohi]

おこ

[diveintounlimit]

激おこ

[onori108]

fastlyブチギレしてる

[boxshiitake]

edgeはcloudflareのほうが出来が良いからなんとも

[IGA-OS]

比較データというのは、有利な結果を選り好みしちゃうもんな

[ngsw]

つよい:-)

[yamadar]

fastly激おこ

[Eiichiro]

反駁の内的として、β版しかないとはいえ、rustとjavascriptの挙動比べてるのは、うーんとは思うところ。無料版同士の比較も、顧客ターゲットの違いからしかたなさそう。 お互いに有利な条件を競ってる感はあるかな。

[tmatsuu]

日本語訳だしたのか。反駁