1000万ユーザに耐えるサーバを作ってみた

概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 導入 Facebook、Amazon、Youtubeのような数億人のユーザを抱えるサービスでは大量のトラフィックを捌く必要があります。大量のトラフィックを捌くためのアプローチとして一般的に使われるのはスケールアップではなくスケールアウトです。スケールアップは性能の高い機器を使うためにコストが高いです。また、1つのサーバで運用するためにパフォーマンスの限界が存在します。 スケールアウトについて考えます。アプリケーションは大きく

[mattn]

出来れば 1000 万ユーザに耐える根拠が欲しかった。

[pwatermark]

コレ性能試験の結果とか書いてないんだけど、1000万ユーザに耐えるかどうかは論理で判定しろ(読み解け)ってこと？

[stk132]

dynamodbを金でぶん殴った結果も書いといて欲しかった

[wwolf]

AWSくんが頑張ってくれるから1000万人乗っても大丈夫！的な感じかな

[turanukimaru]

タイトルは盛りすぎだけどDynamoDBでいくらでもスケールさせられる構成を作る例としては良いものでは。特にAPIを作ってから対応するデータ構造を作る、というのは重要だ。フロント側が雑な要求をすると酷いことになる。

[sin20xx]

何を言いたいのかわからないなぁ。1000万ユーザーの定義が不明だしSnowflakeネタとして見てももう時代的にも昔のネタすぎる気もするが。単純に高性能DBを使いました以上の説明がないのだけども。一体これは何を言いたいの

[taruhachi]

一人あたりのフォロワー数を平均100人、一日のツイート数を100回とすると、1人あたり毎日1万レコードの追加、1,000万人利用で毎日1,000億レコードづつ肥大化する。耐えられるかは負荷試験まち。

[programmablekinoko]

こういうのはなんというか最後は金の力の気がする

[ken39arg]

軽く実装見たけどCUがヤバそうなのでquotaに直ぐ捕まりそう。1000万ユーザーの定義がわからないけど多分同接とフォロー関係がそれなりにあったらうまくいかないパターンかと。

[heguro]

"ツイートをしたら、そのユーザのフォロワーのタイムラインにツイートを書き込む" Mastodonの実装だ(こちらはPostgres+Redis) / Mastodonサーバ連合全体の統計で320万ユーザらしい / TLを一定数しか保持しなければ肥大化しない

[pascal256]

後で読む

[asuka0801]

せめて1000万ユーザーに耐える根拠と見積り金額は出した方が良いと思った。月数百万くらいは飛んでく構成じゃない？

[zemuriya]

結局普通のクラウド構成。DynamoDBの性能次第？

[remonoil]

机上で作ったみた vs 机上で叩く

[weakref]

"～データの再配置が必要です。これらの機能ははRDBにはないので" ネタ？本気？

[ponpon_qonqon]

いや、ちょっと･･･プロジェクトのリポジトリ名に「twitter」って他社の商標をまんま入れてしまうんかい。どんなに技術力があろうがその時点でエンジニアとしての経験値がないと見なしてアウトだよ･･･

[t2y-1979]

dynamodb を使っているなら普通に作れば耐えるでしょう

[hiby]

KVMだと札束でぶん殴ってもどっかでサチると思うんだけどそこが知りたかった感じ。

[revert]

ユーザー規模が大きいサービスの開発経験は無さそう。フォロワーが多くいるユーザーがいるとうまく動かない、おそらく数万ユーザー程度が限界なんじゃないかな。「完全に理解した」レベルの開発者の記事。

[youichirou]

このタイトルだと語弊がある気がするので「1000万ユーザーのアクセスに耐えるアプローチ」くらいだと納得感あるかも

[shields-pikes]

参考になるかな。読んでみる。

[eos2323]

どうやって1000万なのかが読めなかったので八百万のユーザだと思って読む

[odakaho]

1000万規模だとユーザが全世界にいるからリージョンが落ちた時の対策も考えとかんと

[nutahuate]

後で読む、NoSQLあんまり使えてないので

[toritori0318]

1000万の根拠はわからないけどスケールはしそう（DynamoDBのWrite高いのでコストかかりそうだけど

[geerpm]

フォロワー数多い人のツイート書き込み対策別途だと片手落ち感。それならRDBでRead対策別途でも良いのでは。実際の費用シュミレーションも気になるなあ

[tettekete37564]

何気に参考になりそう

[aox]

人をいっぱい雇えば電話とFaxでもいけるのでは。なんでもピコピコでやろうとすると人間だめになります

[threetea0407]

DynamoDB の Quota を緩和する手順が抜けてる

[yamadashy]

実際に負荷試験されてないけどアプローチとしては勉強になった。フォロワー多い人問題に関してもっと根拠ある解答だったらなあ。

[hiroomi]

“監視をしてボトルネックを見つけてから判断しても、遅くはないでしょう。”

[b-wind]

お財布事情を考えなければこういうので行けるのかね。1000万ユーザーというのが同時接続だったら凄いけど。

[mayumayu_nimolove]

1000万ユーザーの根拠が書かれてないような。。エンジニアならそこちゃんと書こうよ。

[earu]

RDBならすげーなと思ったがDynamoかと思い真面目に読めなかった

[uva]

1000万ならAmazon Aurora/Cloud Spannerでいけちゃいました、みたいな話を聞きたいかな

[cuttoff19]

ぶこめ