ウン十万接続のALB SSL証明書を平和に更新したい - Nature Engineering Blog

こんにちはSREの黒田です。 これは第2回 Nature Engineering Blog 祭9日目のエントリです。 昨日はCorporate ITのマロニーによる GASを使って社内のSaaSアカウントを可視化しよう - Nature Engineering Blog でした。 昨日に続いて今日のお話も、話題の新製品Remo nanoやMatterとは関係ありません。 TL;DR WebSocketで大量に永続接続されているALBのSSL証明書を更新すると、接続がばっこんばっこん切られて大変なので、ALBを二台用意して緩やかに接続を移行するようにしたら、大変平和になって僕もみんなもハッピーになった。 背景 そもそもNatureではどこに何のためにWebSocketを使ってるの？って話から始めると長いので、詳しくはこちらを見ていただければと思います (結構前の資料なので今とは違う部分も色々

[gfx]

“世にあるNature Remo達が稼働している限りずっとALBを介してサーバーに常時接続しており、それが今だとウン十万あるのです”

[Songmu]

ALB blue-green deploymentめっちゃカッコいい…！

[efcl]

Public to Privateなコマンドを送るためにWebSocketで常時接続してるケース

[a666666]

After の blue-purple なグラフが美しい...

[s025236]

本編と関係ないんだけどAmazonの証明書使わないでLet's Encrypt使ってるのはなぜだろう？

[daishi_n]

一応ALBの証明書はダウンタイムなく切り替わるんだけど大量にWebSocketで常時接続してると切れるのもあるよね。DNSで緩やかにBlue/Greenデプロイするのは確かに得策

[tmatsuu]

WebSocketを使用しているが故にというところではある。なるほどですね。

[toritori0318]

わかりみが深すぎる

[northlight]

“ALB”

[tengo1985]

この挙動わかってなかった

[TakamoriTarou]

その前に、一斉に着られて一斉に再接続するような仕組みがまずい気がするんだが。そこをまずなんとかしろよと言う気分です

[skomma]

おもしろい

[hagane]

ほえええ

[dorapon2000]

“証明書の更新と同時にPublic DNSも更新されているため、規定範囲の最長時間をかけて既存接続が緩やかにblue ALBからgreen ALBに移行されていくというわけです。”

[kamm]

Nature、自宅で大活躍してるけれど日本で開発運営してるの！？びっくり。てっきり中国でやってるのかと思った。

[napsucks]

real serverへの負荷分散であれば新規セッション割り当てを止めてジェントルに残りのサーバに負荷を寄せる機能が大抵のSLBに実装されてるけど、SLB自体のSSL証明書をジェントルに置き換えるのはコツがいるのだな

[sasasin_net]

ちょっと待って先に考えさせて！と考えはしたけど、どれも微妙で、解答を読んで納得した。なるほどなー