C10K 問題、実は理解していない

お願い 「C10K 問題とは何か」がわかる方は是非 Issue や Twitter などで教えてください。 追記: 自分の立場 1req ごとに 1 native thread を割り当てていたら、クライアントの数が増えれば増えるほど負荷が高まるのは当然だ。ただハードウェアの性能的に余裕があっても性能が劣化することがあり、それを C10K 問題と呼ぶ。C10K 問題は fd, pid の枯渇、スレッドを固定長サイズで確保することによるメモリの無駄遣い、コンテキストスイッチコストを含む。これを解決する方法が 1req ごとに 1 native thread を割り当てない技術で、シングルスレッド+イベントループ+IO 多重化といったテクニックや M:N モデルにつながる。 追記: @naoya_ito さんに解説してもらった当時の歴史的背景 https://twitter.com/naoya

[so-apps]

C10Kは32bit時代に言われていたことで、解決済み。今はスケールアップしてC10Mという話があるようだ。

[kybernetes]

また現代においては金の弾丸というべきものがある。(...)つまり金で解決する。

[kahlua-dane]

web界隈で言われてたC10K。linuxの起動プロセス上限32767個。当時のApacheの標準モードはフォーク式でコネクションが来るたびに子プロセス作る。アクセス来るとプロセス上限に引っかかる。nginxはスレッド式でOK。文字列

[prograti]

コンテキストスイッチのコストに関するブログ記事はちょっと古いけどこれとか https://naoya-2.hatenadiary.org/entry/20071010/1192040413

[ed_v3]

ApacheからNginxへの移行がめちゃ流行った理由、くらいの認識

[ryousanngata]

この記事を思い出した。https://blog.inductor.me/entry/2022/05/31/150707

[mkusunok]

さっぱり分からんといいながら、当時とボトルネックが違うよねという問題提起

[matarillo]

https://b.hatena.ne.jp/entry/s/blog.ojisan.io/server-architecture-2023/ にも書いたけどJava (JVM) みたいなシステムだって1reqに生スレッド1つ割り当てたりしない スレッドプールとスケジューラでいわゆるM:Nになる

[houyhnhm]

コネクションが一定以上同時に張れない問題、回避策は色々あるが、観念上では問題ないはずがOSやハードの制限に影響されたという話として記憶している。／m:nになると緩和されるが無制限になっている訳ではない。

[z10a41dcb]

スレッドが固定長、スレッドサイズが固定長、などとあり何の事かよくわからなかった。おそらくスレッドのスタック、次点でスレッド数のことかな？

[kikuchi1201]

c10k-wakaran....

[mizdra]

ソフトウェアの限界に先に達してしまってハードウェアの性能を最大限引き出せない状態で水平スケーリングさせるの、負荷問題は解決するかもだけど、やっぱり富豪的でもったいないですよねえ。

[nharuki]

いろんなハードリミットがあって時代とともにそのリミットが個別に上昇してるせいで現代で「C10K」って言うと「結局あれはなんだったっけ」となっちゃうのかな

[NOV1975]

当時想定していたアーキテクチャからだいぶ変容したからクリティカルな問題の中心が変わってきているというのはわかるんだけど、逆にアーキ選定のポイントとしては抑えておくべき話にはなってるんじゃないかな。

[tettekete37564]

fork だと実際に 10K プロセスを複製しなくちゃいけなしオーバーヘッド高いからサーバが固まるけどループなら（クライアントを待たせるけど）固まらないよ程度の認識。

[taruhachi]

単純な参照系のサービスなら良いんだけど、その同時接続はDBの同時接続(トランザクション数)にまで透過しちゃって最終的にDBボトルネックになってしまうケースは多そう。そこでNoSQLとか必要になってくるのかもしらんが

[ya--mada]

c10kは時代と共に変わると思ってたが、絶対問題c10k、みたいなイメージでしょうか？金で解決は、高く売れるサービスでのみ成り立つ。ほとんどは、金はないがリソースを使うっていう痛ましいトレードオフの克服を要求さ

[takaheraw]

“http://www.kegel.com/c10k.html”

[onk]

OG イメージめっちゃ好き

[ducky19999]

C10K問題を解決するマンとして出てきたのがNode.jsだった気がする

[gomakyu]

ブコメを読み解くのに注意が必要。とても必要。

[a96neko]

“C10K 問題”

[napsucks]

スレッドやtcpスタックのバッファ確保でメモリめっちゃ食うのでajax(当時)全盛でセッション貼りっぱになると大変だねというのがc10kだと思ってた。調べてみたらapacheがpid枯渇で大変だねという話だけ？

[baronhorse]

pthreadは1threadあたり2MBスタック確保するから10kで20GBになり当時としては非現実的 select後継ならもっと安いぜどうせIO待ちだよなみたいな話じゃなかったっけ。memcached早い！libeventすごい！みたいな時代

[love0hate]

CほげKは基本的にパフォーマンスではなくハードリミットの方が主題だとおもてる。／金の弾丸は問題解決を転嫁しているだけに見えるので蛇足感？

[MarvinParnroid]

C1000タケダ

[ledsun]

ネイティヴスレッドを作るコスト（時間・メモリ）は相対的に下がってる。goみたいなn:mスレッドもある。今は10Kくらいのオーダーでは問題にならない（イベントループにするデメリットの方が大きい）のかも。

[tattyu]

最近のCPUはコアめっちゃ多いし意外と早いのではと思ったが、wiki見たら"同時に起動できるプロセスに(2^31-1)個の制限がある。"とあるので古めのApacheの問題ぽい。

[dec123456789]

今でもApacheが普通に使われているという点から、利用者が数百万とか数千万とかの大手のサービス以外は考慮する必要もない問題だったのかな。

[softstone]

2023年に働いてるエンジニアが誰でも2023年の技術の恩恵を受けてるとは限らない（狼に喰われた遺体のそばのダイイングメッセージより）

[pekee-nuee-nuee]

金の弾丸ならあるて確かにそうだな〜もともとの人狼の例えに合わせるならリボルバーじゃなくてマシンガンと大量の弾薬で解決だみたいな

[UhoNiceGuy]

十分理解しているのでは。学会での「素人質問で申し訳ないのですが」の類？//C10Kが話題になってたころと、go-routine等で解決の道が提示された現代とでは状況が違うと思う