大規模Email配信システムのクラウドジャーニー | BLOG - DeNA Engineering

こんにちは、AI 基盤部の大谷です。 最近は兼務で MLOps 以外にも様々なシステムを構築しています。 弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。 また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。 とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。 一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち

[mooonymann]

“そこで、DynamoDB を使って自前で重複排除ロジックを実装します。 これは PutItem リクエストに attribute_not_exists 条件をつけた上で、SQS のメッセージ ID を DynamoDB に PUT していくだけで実現できます。(重複していたら PUT に失

[masatomo-m]

今のSESはキャリアにも問題なく届くのか。とはいえ不達要因調べたりのオペレーション考えるとまだSendGridかなあ

[rawwell]

楽天のメール配信システムも気になる

[teppeis]

AWS SESを複数リージョン並べる構成

[halfrack]

「SES でも自前で管理する物が多い」までは分かるんだが、その理由なのに自前で管理する物がさらに多い選択に何故なるのか(略 / 追記: SES ラップする仕組み作ったって感じだし良いものに見えた(最初誤読してた)

[sonots]

頑張ってる

[progrhyme]

Postfix -> SES

[tmatsuu]

わいわい。知見

[bYMQ]

自作するのバカバカしいので普通はsendgrid使えばいいです

[stealthinu]

AWSのSES使ってEC2上のpostfixから移行した例。単にSES使うだけじゃなくSQSとLambda使って大量メール送信をリージョンごとにわけて並列で送れるようにして送信状況やバウンス等も監視できるようにしてあると。

[wata88]

HTTPばかりやってるとメールわからんよね

[send]

大昔自分もやってたけど、大量のメールをキャリアにちゃんと送信するの結構難しいんだよなあ。大きな問題なく移行できてすごい

[m50747]

もう今はオンプレで大量メール送る時代じゃないかな。sendgridも良いよ。 しかしメール配信の負荷テストは送信側だけでなく、最強の受信サーバーを用意しないと評価できないと言う大事な視点がある。

[onionskin]

AWSは自社サービスを買わせるのうまいよなー。膨大なラインアップがあってこそだけど

[door-s-dev]

なぜ複数リージョンにすると良いのか分からなかった。同じIPから大量に送ることがレピュテーションに影響するから？

[azumakuniyuki]

複数リージョンで散らす構成がスケールアウトもしやすくて良い感じ

[bonlife]

勉強になるわ！SQSのFIFOキュー、こないだスループット秒間3,000までOKってなってたので、要件次第でもうちょっとシンプルにやっつけられそう。

[ngsw]

SESへのレイテンシの話と、最終的に前段にSQSを入れる形になったところが気になった。

[nanamae]

メールはほんと無茶な要件を貰うことが多く苦手

[matsubobo]

リージョンで分散するのかー！これとは別として、本文が同じならSES templateってパフォーマンスどうなんだろうかねー？

[dot]

バウンスの管理めどいよねえ

[tofu-kun]

参考になる。そしてメール配信きつい

[mdlkeiwaring]

これ1,2年たったら仕様ブラックボックス化して、専用IPの方がわかりやすいねってなりそうな気がする

[surume000]

メールシステム

[masawada]

面白かった / メール大変だよね…

[cocoasynn]

素晴らしい

[iekusup]

ほー。

[thaim]

メール配信システムは気にすること多くて大変だ。自分は運用経験がないので旧アーキテクチャの運用負荷がわからないし、新システムもそれなりに複雑で運用大変ではと思ってしまう。

[sharaku3eyes]

素晴らしい

[kuni92]

“まれに突然到達性の悪化が発生していたので、これらのキャリアメールドメインに対してはそれぞれ個別の専用 IP プール”