NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog

Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問題を解消するにあたり Fluentd に PR を送ったのでそれの紹介もします。 https://github.com/fluent/fluentd/pull/2352 データ収集基盤の構成 Repro のデータ収集基盤はFlunetd High Availability Configをもとに構成され、大まかに次のようになっています。 SDK からアップロードされたデータは、転送用 Fluentd(log forwarders)を経由し

[a_bicky]

staging環境にある2つのaggregatorのうち1つだけfdがリークしてて頭抱えてたら、原因特定してfluentdにPRまで送ってて凄かった

[wyukawa]

すごい。そしてうちも似たような問題に遭遇したような。。。

[kazeburo]

なるほどtcp keepalive

[havanap]

すばい

[castaneai]

NLBは350秒以上アイドル状態が続くと、コネクションをクローズするが、送信元だけにRSTを送っていて送信先にはRSTを送らない。よって送信先の方のfdがどんどん消費されていた

[letitride]

300秒くらいに1回、nullパケットを送る...(小声)

[tmatsuu]

知見。send_tcp_keepaliveなるほど

[takaesu]

こういうのハマってしまうからとても助かる記事だ

[indication]

すごいパケット量をよく解析したなあ。keepaliveのデフォルトをなんとかしてほしい

[tengo1985]

自分だったらTCP扱うソフトウェア書くならとりあえずkeepalive設定できるように作っとく気はするけど、今までなかったのはなんでなんだろう

[yujiorama]

"NLB から RST パケットを受け取る機会がないため、アイドルタイムアウトが発生したコネクションはクローズされずに残り続けます"

[udzura]

解明のプロセス良い

[l__LINE__l]

通信系の問題が解決した時のスカッと感は言葉にならないね

[sonots]

NLB使ってるとそんなことになるのかなるほど

[t-cyrill]

なるほど

[koyancya]

何もしてないのに壊れたを解決するのすごい

[tofu-kun]

わかりやすい。ちょっと似てるけど違う状況に遭遇したような記憶があるが、次遭遇したら参考にしよう

[muddydixon]

知見だ

[iwanofsky]

へー

[u1tnk]

すばらし

[joker1007]

めっちゃしっかり調査してくれて、アップストリームへの還元までやり切ってくれたizuさん素晴らしい。

[treby006]

知見情報だ

[ikaro1192]

「NLB は送信元(クライアント)に RST パケットを送りますが、送信先(ターゲット)には RST パケットを送らない仕様」

[tagomoris]

へー、NLB使ってるとこんなことが

[JULY]

NLB の立場になると、既にいなくなった相手に対してTCPを閉じようとして、閉じたくても閉じられない時間を作るぐらいなら、しれっと無かったことにして、なにか送られてきたらRSTが飛んで再接続、なんだろうなぁ。

[katsyoshi]

:eyes: