Twitter を作るのはなぜ難しいのか

Fumihiko Shiroyama @fushiroyama 父、博士課程 Senior Software Engineer @Microsoft 👨🏻‍💻 / ex-@amazon All opinions are my own. note.com/fushiroyama/ Fumihiko Shiroyama @fushiroyama Twitterみたいな緩いつながり、TLひとつ実装するだけでも普通のウェブシステムみたいなクエリでは取れなくてちょっと考えれば非常に複雑なシステムであることは明白だし、システムアーキテクチャの試験の定番トピックだったりするので「誰でも作れる」とか「簡単」みたいなのはご指摘申し上げたくなる 2022-11-22 02:16:50 Fumihiko Shiroyama @fushiroyama 昔つぶやきましたが例えばこの記事を読むと分かりやすいです

[lluvias]

一番の理由は「作っても儲からない」じゃないのかな

[sakusaku__1986]

最低限ソシャゲのトラフィックとかで苦労した経験がないとリアリティがないんだろうな。アクセスが増えると完全に別物になる、というのがこの話の趣旨なのに「作るのは簡単」とか言える人は幸せだな

[cinemaphile]

タイムラインシステム作ろうとすると、絶対ぶち当たるスケールの問題の最前線/単純化ってどの部分のこと言ってんの。Twitterの根幹であるタイムラインが一番バカデカくて速度を求められてて複雑だって言ってんのに。

[iww]

毎秒100件でも割とおっかなびっくりなのに 毎秒100万件は想像しただけで心臓止まりそう

[bikeshed]

「ナイーブに実装したら100万フォロワーのセレブがツイートするたびに100万ユーザーのタイムラインに push が走って…」これは現在のMastodonなんですよね。今でも「地震で揺れるとRDBMSが刺さって落ちる」とかなんとか…。

[manaten]

Twitterは機能要件(フォロー･タイムライン型のWebサービス)は簡単で、非機能要件(それを大量のユーザー数で動かす)が難しいんだよなあ。しかもスケールさせるためのデータの持ち方に自明な正解がないんだよな

[morita_non]

このシステムが昔はRubyOnRailsで作られてた。とかホンマけ。

[UhoNiceGuy]

「スケールが大きくなると難しい」という記事になぜ「簡単だよ。スケールが大きくなければ」というコメがつくのだろう//2chはまだ多くの人が見る画面が同じだからいいけど、twitterは各個人に別々の画面を作らなくては…

[togetter]

スケールが大きすぎて考えたこともなかったけど、そりゃあ難しいよね…。

[dbfireball]

多分この話は実装経験がない人には永久に伝わらない話だと思う。ツイートした後に編集できる機能も入れたくないよね、ってのも実装経験者にしか分からん。

[kei_0000]

単に表面的に見える機能を実装するのと、世界中から使われるシステムを速度を維持しながら管理運用するのは全く別という話。後者の方が数十倍難しそう。

[ooblog]

#Twitter #スケール #ビッグデータ 「Twitterみたいなの~Facebookみたいなの~LINEみたいなの~作れとか~無理~簡単そうな仕事でも~人によっては一億人のフォロワー~ある規模を超え始めると~専用のデータベースシステムを内製」

[non_117]

pubsubむずすぎる

[hiromo2]

反応見てると、システム的に全員対全員が繋がってる、と勘違いさせるのが上手いなぁと。

[soreso]

各種陰謀論を見ていても、誤った思考に取り憑かれないためには確率や数字の規模感を想像できることが一番大事な素養なのだと感じる

[joker1007]

それなりの規模のシステムアーキテクチャを考える様な仕事をするんだったら、データ志向アプリケーションデザインはマジで読んだ方がいい。

[uunfo]

たしかにユーザー数考えると意味分からんな。検索やTLが返ってくるのが当たり前のすごさよ

[snare_micchan]

平日だけ稼働するシステムと24H365Dのシステムではコストが5倍以上異なる（個人的な経験値）。それに加え1000万単位のトランザクション。相当な工夫が必要/とはいえ2000万stepは過剰な気がする

[Adeptus]

毎秒150MBストレージが埋まっていくデータベースに、どうやってクエリを投げれば良いか考えてみよう

[daichirata]

ちなみにTwitterが100万のフォロワーがいる人に対してどうやって対処してるかとか、どうやってスケールしてきたかの概要は データ指向アプリケーションデザイン という本にもちらっと書いてるので興味がある人は是非。

[ppppchan]

twitterを作るのが難しいのではなく、1兆円企業を作るのが難しいのだ

[gnt]

おっ。こないだのホワイトボードの清書だ。ありがてえ。

[k-takahashi]

『なにかをバラまいたり集約したりするのを、あらゆる規模で効率的にやる方法って自明じゃない』

[nakayuki805]

TwitterがTLを最新ツイートの時系列表示じゃなくてリコメンドを含むファジーな表示をゴリ押ししてくるのってその方が負荷軽かったりするのかな

[door-s-dev]

どんな話かと思ったらスケールさせるのが難しいって話。オーダーが違うもんなぁ

[aike]

同じURLなら全員が同じ情報を見るそれまでの掲示板と違い、何万人何億人へ一人ずつ異なる編集をした情報を送るってとんでもないこと。ツイッター登場したときこれ絶対RDB詳しくない奴が作ったサービスだろと思ってた。

[gimonfu_usr]

（　何をいってるのだ。猫がメンテナンスしてたんだぞ。）https://mono-logue.studio/190

[maguro1111]

はてブでも「エンジニアがいなくなってもリバースエンジニアリングすればいい」って何も分かってない素人評論家のコメントついてたな

[yoshikogahaku]

「Twitterみたいの」は「Excelみたいの」と一緒で、どこまで現実のTwitterを指すのかが文脈や人で異なる。 それにしてもトラック内製してる運送屋みたいな人たちなんやな。Twitter恐ろしい。

[qtamaki]

データ量とグラフ構造が難しい

[urtz]

"なぜソフトウェアが腐るのか、ということへの答えは「変化しないから」ということになると思う。" この感覚はIT界隈の人ならみんな持っているはず

[tsukitaro]

バルス？

[mohno]

「そんなの簡単」というつもりはさらさらないが、“大量のトランザクション処理”はTwitterに限った話ではないよね。/そういえば昔の Twitter は Ruby on Rails だったよね。

[shiketanotsuna]

車を自動運転、宇宙に物体を飛ばすなどをしてきたイーロン・マスクですら既存のTwitterを買収するところから始めてるんだもんな。

[ryunosinfx]

１ハードウェア筐体の上限を超えた先を要求されるともうダメポ。レイテンシーもメモリもしかりしかり。多分ここを体験しないと簡単とか言っちゃうんだろうな。

[metamix]

Twitterの技術価値は世界有数規模のトラフィック処理に99．998％集約されてるのでAWSで似たGUIのアプリ組めるとかいうのとは全く次元が違う話だ。市販の生麺茹でてラーメン作れるからって明日からラーメン屋開業出来るか？

[zettaimuri]

TLっぽいことやろうとするとクソめんどくさいですよねそれを快適に使えるようにするとかどうやればそうなるのと

[blueboy]

「だったら、エクセルで作ればいいんじゃね？　エクセルなら、何でも作れるよ」　→　エクセルの最大行数はかなり小さい。エクセル 2003 では 6.5万行。以後のエクセルでは 100万行。これが最大。これ以上は扱えない。

[shatomori]

この規模のシステムをほぼ壊滅した開発チームで維持していくだけでも大変なのに、今後はマスクが技術的制約をまったく考慮せず思いつきで要求する新機能を納期優先で付け足していくのだからいつか確実に破綻する