「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか
昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを構築しています。興味深いのは、創業者の二人ともバックエンドの経験がないなかで試行錯誤をしてシステムをスケールさせてきた点です。 Instagramは先月、Facebookに買収されると発表されています。この先、Instagramのシステムはどう変わっていくのでしょうか。 Instagramのシステム構成 約半年前、昨年12月にInstagramのブログに投稿された記事「What Powers In
MySQL 5.5ストレージエンジン比較、InnoDBのすごいスケール力 | エンタープライズ | マイコミジャーナル
MySQL OracleのMySQLパフォーマンスチームが、最新のMySQL 5.5のストレージエンジンInnoDBおよびMyISAMに対して実施したベンチマークの結果を発表した。2010年12月15日(米国時間)に発表されたMySQL 5.5 GAは2年ぶりに公開されたプロダクションリリース。InnoDBが大幅に改善されマルチコア/プロセッサにおける性能が大幅に向上したという特徴がある。 MySQLパフォーマンスチームの公開した結果はMySQL 5.5 InnoDBの評判を裏付けるものとなっている。36コアCPUのシステムにおいてMyISAMとInnoDBの性能をSysbenchで評価。読み書き試験ではInnoDBがMyISAMの35倍の性能を、読み込みオンリー試験ではInnoDBがMyISAMの5倍の性能をマークしている。ほとんどスケールしないMyISAMと比較して、InnoDBは36
グリーCTOが語る、大規模ソーシャルゲーム開発の舞台裏
9月1日、ゲーム開発者向けカンファレンス「CEDEC 2010」において、SNS「GREE」を運営するグリー株式会社（以下 グリー）が『大規模ソーシャルゲームのつくりかた ～60分でわかるサーバサイド技術～』と題するセッションを講演した。 一日あたり億単位のトラフィックを捌くインフラはどうなっているのか。技術者2名が解説したインフラ構築のノウハウや、ソーシャルゲームと一般のオンラインゲームとの違いについて紹介する。 オンラインゲームとソーシャルゲームとの違い 最近テレビCMでも目にする機会が多くなってきたSNS（ソーシャルネットワーキングサービス）の「GREE（グリー）」。2010年6月時点の数字で、会員数2059万人、月間353億ページビューという言わずとしれた大人気サイトだ。中でも携帯電話向けソーシャルゲームが特徴的で、専用機向けのゲームと比べるとコアゲーマー以外のプレイヤーも多く、利
＠IT Special PR：600億PVもMySQLで！ モバゲーのインフラ底力
携帯向けサイト「モバゲータウン」の勢いが止まらない。2010年3月の会員数は約1800万人、月間ページビュー（PV）600億という"モンスターSNS"に成長している。意外なことに、これだけのアクセスをさばくのに、memcachedをはじめとするKVS（Key-Value Store）系のインフラ・ソフトはあまり使っておらず、MySQLで十分だという。モバゲータウンのインフラ担当者に話を聞いた。 モバゲータウンを運営するDeNA（ディー・エヌ・エー）は、もともと1999年に開始したオークションサイト「ビッダーズ」で知られている。その後、オークションに加えてECサイトを開始し、auとの提携により「auショッピングモール」などで急速に成長した。 ビッダーズだけでも、数千万PV規模の大規模サービスだが、最近はモバゲータウンの成長が著しい。 「特に2009年9月から順次リリースした自社製のソーシャル
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題
Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の巨大なシステムは、3つのデータセンターにある約3万台のサーバと、PHP、C++、Memcache、MySQLなどのソフトウェア群によって支えられています（同社のデータセンターの巨大さは、記事「3億のユーザーを抱えるFacebookのデータセンター。移動は自転車、希望は100Gbイーサネット 」を参照）。 同社の技術担当バイスプレジデント Jeff Rothschild氏は、Facebookが実現している大規模なスケーラビリティを、いかにしてこれらのソフトウェアで実現しているのか、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Mas
Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
アメブロを支えるMySQL：サイバーエージェントのMySQLチューニング術 - builder by ZDNet Japan
アメーバブログ（アメブロ）はサイバーエージェントが運営する無料のブログサービスである。同社のデータベースチームは急激に増加し続けるアクセスに対応し、パフォーマンスを維持するために、データベースの改善を続けてきたという。その経緯と現状が、MySQL ユーザコンファレンス 2008の場で紹介された。 アメブロにおけるデータベース改善の歴史 サービスを開始した2006年9月時点では、Active-Standby構成のOracle 10g 2台のみで、MySQLは使用していなかった。これで4億PV（ページビュー）を支えていたという。 その後、アクセスの増加に伴ってハードウェアを拡充し、現在はOracle 10g RAC 4台（Active3台-Standby1台）構成になり、MySQLはマスターに1台、スレイブに41台を導入しているとのこと。 このシステムは2006年10月からMySQLを導入し、
ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と３サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ
ニコニコ動画の1万人生中継，舞台裏での技術者の奮闘
生放送技術研究，生中継サーバー，プレイヤーFlash（バージョン1）を担当したドワンゴ 研究開発本部の糸柳和法氏 [画像のクリックで拡大表示] Webアプリケーションや生放送プレイヤーFlash（バージョン2）を開発したドワンゴ 研究開発本部 杉谷保幸氏。ニコニコ動画モバイルの開発も担当した [画像のクリックで拡大表示] ニコニコ動画は2008年7月4日，ユーザー2000人が集まり夏野剛氏と西村博之氏が登壇したイベント「ニコニコ大会議」を1万人に生中継した。ニコニコ動画を運営するドワンゴでは「Flashによる1万人への生中継は世界でも例がない」という。この1万人への同時配信を，同社の技術陣はどのように実現したのか。 「Flashでの1万人生放送は他に例がない」 「生中継は，録画した動画の配信よりも先にあったアイデアだった」と，ドワンゴ 執行役員研究開発本部長 千野裕司氏は言う。動画にコメン
「Twitter」は生き残れるか--度重なるサービス障害をめぐる疑問
「Twitter」がサービスを維持できないでいるのは、少々理解に苦しむ。インターネット時代に突入してから10年以上たち、ウェブアプリケーションの拡大に関する非常に多くの研究開発が一般公開されているのだから、Twitterのエンジニアがこれを解決できると思われて当然だろう。 Twitterの共同設立者であるBiz Stone氏の最近のブログには、約1500万ドルの資金という形で支援が実現しようとしていると書かれている。 Twitterは将来、収益モデルに支えられた持続可能な企業になる。しかし、われわれが描いている世界的コミュニケーションユーティリティとしてのTwitterが実現されない限り、最大のビジネスチャンスを追及する価値はない。われわれの目標を達成するには、Twitterが信頼に足る堅実な企業でなければならない。われわれは、将来われわれのビジネスが飛び立つ際に役立つインフラに重点的に取
100億PVにも耐えられる、アメブロがOracle RACで性能向上
サイバーエージェントは、ブログサービス「Ameba（アメブロ）」のDBサーバーを増強した。5月末、従来は1ノードだったOracle Database 10gを3ノードのクラスタ構成に変更し、性能向上を図った。アメーバブログの5月のPV(ページビュー)は44.5億。「今後、100億PVの実現に向け、それに耐えられるシステム基盤を整えた」(新規開発局 最高技術責任者 佐藤真人氏)。 今回DBサーバーを増強したのは、ブログ記事やコメントを管理する管理系である。2004年9月のサービス開始以来、アメブロは会員数やPV、記事投稿数などを急ピッチで伸ばしてきた。この4月には、俳優の上地雄輔氏のブログ「神児遊助」が1日で23万を超えるユニーク・ユーザー数を記録。ギネス世界記録に認定された(写真)。 今回の増強作業は2007年6月に着手した。従来、Sun SPARCサーバー上のOracleには16CPU、
コアの数と スレッド数とイベント処理 - レビログ管理人の虚言・妄言・戯言 捨て場
マルチコア時代のサーバ設計について - Happy Hacking Diary Ringo's Weblog: Event-driven Programming for Robust Software イベント処理というか、スレッドに対するファイバー処理ね。 マルチファイバー（イベントドリブン）とスレッド処理の違いは、 自分でファイバーの切り替えようのスケジューラーを書くか書かないか？ という差分である。 このファイバースケジューラーが、OSが用意したスレッドスケジューラーよりも高速である場合 ファイバーの方が高速になり、遅い場合スレッドの方が高速になる。 したがって、マルチスレッドよりも遅い、ファイバーもあり得るし、スケジューラーを最適化することによりマルチスレッドよりも高速なファイバーを書くことも出来る。 一般的にスケジューラーは、イベントのタイミング、メモリなどにより、最適なチューニ
マルチコア時代のサーバ設計について - Happy Hacking Diary
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
TechCrunch Japanese アーカイブ » Twitterのスケーリング：可能性はあるのか？
TechCrunch Japanese アーカイブ » Twitter、大胆な行動に出る