mysqlのテーブルの「のれん分け」
大まかな手順は以下です。 三段構成にする。 slaveを切り替える masterを切り替える 余分なテーブルを落とす の4ステップです。 1.三段構成にする。 これはつまりこんな状態にすることをいいます。 この作業は基本的には単純なslave増設と新規レプリケーション構成を組むのの組み合わせでできるので、前回のエントリ「replicationしてるMySQLのslave増設手順」を参考にしてください。 通常のレプリケーション構築との違う、ポイントとしては テーブル構成は最初は丸ままコピーすること 「New master」my.cnfの設定にlog-slave-updatesとreplicate-do-tableでノレン分けしたいテーブルを設定しておくこと です。 テーブル構成を丸ままコピーするのは、そうしないとレプリケーションが失敗するからです。replicate-ignore-dbやre
グリーCTOが語る、大規模ソーシャルゲーム開発の舞台裏
9月1日、ゲーム開発者向けカンファレンス「CEDEC 2010」において、SNS「GREE」を運営するグリー株式会社（以下 グリー）が『大規模ソーシャルゲームのつくりかた ～60分でわかるサーバサイド技術～』と題するセッションを講演した。 一日あたり億単位のトラフィックを捌くインフラはどうなっているのか。技術者2名が解説したインフラ構築のノウハウや、ソーシャルゲームと一般のオンラインゲームとの違いについて紹介する。 オンラインゲームとソーシャルゲームとの違い 最近テレビCMでも目にする機会が多くなってきたSNS（ソーシャルネットワーキングサービス）の「GREE（グリー）」。2010年6月時点の数字で、会員数2059万人、月間353億ページビューという言わずとしれた大人気サイトだ。中でも携帯電話向けソーシャルゲームが特徴的で、専用機向けのゲームと比べるとコアゲーマー以外のプレイヤーも多く、利
Yahoo!オークションでのMySQL 冗長化技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
勉強会「快適なwebアプリケーション構築のための基礎知識 webリクエストを捌くロードバランサの巻」を開催しました
社内ではインフラを触るエンジニアが少なく、とても寂しい思いをしているarashoです。夏本番で夏バテしています。 表題のテーマで勉強会を開催しました。といっても、webアプリケーションプログラミングの話ではなく、今回はロードバランサについてです。 ロードバランサはスケーラブルなサイト構築だけではなく、耐障害性を確保するためにも必要なものです。ハードウェア障害で夜中に起こされるとか、ない方がいいですよね。 普段webアプリケーションの開発しか行っていないなかったり、ネットワーク/インフラの知識が弱いメンバーにとってはロードバランサは魔法の箱だったりブラックボックスだったり、あるいは存在を知られていない事もあったりするかと思い、今回はロードバランサの話をしてみました。 といっても、対象はロードバランサ初心者向けということで、かなり基本的な話になっています。ロードバランサで出来ることは多岐に
HiveDB – Technology Updates
Few months ago, Mark Zuckerberg, the founder, and the CEO of Facebook, announced a rebrand of the company. The parent-company would be called Meta, which would run Facebook, WhatsApp, and Instagram among others. Mark said the company is ready to build the Metaverse and the rebranding was done in line with this goal. What is … The Metaverse is the new Matrix Read More » On obtaining an academic deg
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
高トラフィックに対応できるLinuxロードバランサを目指して 〜 LVSをNATからDSRへ : DSAS開発者の部屋
「こんなに簡単！ Linuxでロードバランサ」のシリーズでは、 こんなに簡単！ Linuxでロードバランサ (1) 〜 LVS + NATで負荷分散をしてみよう こんなに簡単！ Linuxでロードバランサ (2) 〜 keepalivedでWebサーバのヘルスチェック こんなに簡単！ Linuxでロードバランサ (3) 〜 VRRPでロードバランサを無停止にする こんな流れでNATによる負荷分散システムを構築してきました。 今回はこれを DSR(Direct Server Return) 方式に変更してみます。 「DSRとはなんぞや？」という方は、 ロードバランサの運用.DSRって知ってますか? L4スイッチはDSR構成にすべし こちらでわかりやすく説明されていますので参考にしてみてください。 一般的(?)に大規模システムを構築する場合は、「ネットワーク機器の整備はこの部門」、「サーバの調
はてなブックマークの裏側その後 - naoyaのはてなダイアリー
まるごとPerl! Vol.1 で執筆させていただいたはてなブックマークのシステムに関する記事が ThinkIT で読めるようになりました。記事全体を何回かにわけて掲載していただいています。まるごとPerlの記事なのですが、実は Perl のことはあまり触れていなくてはてなのサーバー運用概論みたいは話が主なところです。 http://www.thinkit.co.jp/free/article/0610/1/1/ http://www.thinkit.co.jp/free/article/0610/1/2/ せっかくなので現状報告も含めて少し補足をしてみようかなと思います。 現在の数字 記事の中での数字は6月のもので ユーザー：45,000人 ブックマーク数：535万件 ページビュー：5,000万/月 サーバー：17台 となってますが、現在 10 月の方はというと ユーザー: 60,000
新サービスMyITproの裏側を暴露します
ITpro会員向けの新サービス「MyITpro」が本日（2007年5月18日）中にはオープンできる運びとなりました。ここではMyITproサービスを提供しているシステムの構成などについて少し紹介させて頂こうと思います。 複数サーバーで負荷分散，1台がコケてもほかがカバー MyITproのサーバー群は，ITpro本体のシステムとは完全に独立しています。ドメイン名も少し違いますし（ITpro本体はitpro.nikkeibp.co.jp，MyITproはmy.itpro.nikkeibp.co.jp），サーバー・システムを設置しているデータセンターの場所も異なります。 システムの構成は，ユーザーからのアクセスを負荷分散装置（ロードバランサー）が受け付けて，配下の複数のWebサーバーに割り振るところまではITpro本体もMyITproも同じです（図1）。ただし，ITpro本体のシステムはWebサ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
How to scale your web app
Scaling web applications, as present at Barcamp London 2 by George PalmerRead less
VIVER日記 - スケールアウトする分散ファイルシステム
DSAS開発者の部屋で、いかにして多重化＋負荷分散されたシステムを構築しているかという仕組みが公開されました。必見（＋必聴）です。 「DSASのあれこれ」の資料を公開します VIVER的に重要なのは、dsas.conf。ネットワークブートすると、すべてのマシンの構成がまったく同じになってしまう。VIVERではRUNES(Role-based Unified Network Extension System)というplaggableなアプリケーションを開発することで解決しています。 RUNESの問題は、いちいちプラグインが無いと使えない点。要するに使いにくい。拡張性と使いやすさの両立は難しい…。これは根本的に解決する計画があるので、向こう1年以内には解決します。（どうにも開発者リソースが少なくてスパンの長い話になってしまいがち） 資料の中にもありますが、やはり難しいのは、永続的なストレージの
【Web 2.0 Expo】創立メンバーが語る人気ソーシャル・ニュース・サイト「Digg」の裏側
「Diggの立ち上げにかかった費用は2000ドル。サーバーのホスティング料金は月額99ドルに過ぎなかった」──。米国の人気ソーシャル・ニュース・サイト「Digg」の上級ソフトウエア・エンジニアで共同創立者でもあるOwen Byrne氏（写真）が，米国サンフランシスコで開催中の「Web 2.0 Expo」で，Diggの歴史や裏側を語った。 2004年に開設された「Digg」は，米Yahoo!に買収された「del.icio.us」と人気を二分するソーシャル・ニュース・サイト。Diggでは，ユーザーがより多くブックマークした記事が，ページの上位に掲載される仕組みを持つ。登録ユーザー数は100万人以上で，毎日1000万以上のページ・ビューを稼ぎ，1カ月当たりのユニーク・ビジター数は1500万ユーザー。ユーザー数，ページ・ビュー数とも，いまだに毎月10％ずつ伸び続けているという。Byrne氏は「Di
csync2でクラスタ環境でのファイル同期 - Practice of Programming
DRBDを見てたら、csync2にリンク貼られていたので、チェックしてみたら、面白そうなので試してみました。 csync2 はクラスタ環境でのファイル同期に使うものです。sync したら action を実行とかもできる。また、バックアップも取れる(微妙だけど)。で、設定ファイルはだいぶ簡単。 詳しくは下記をみたらいいです。 http://zhenhuiliang.blogspot.com/2006/04/csync2-is-so-cool.html http://oss.linbit.com/csync2/paper.pdf http://www.clifford.at/papers/2005/csync2/ 速度は数千ファイル強が頻繁に更新されるような環境だと、だいぶ遅くなるようです。 数万ファイルを最初にsyncするときは、だいぶかかりました(20分とか)。二回目以降のチェックだけな
Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基本一つのDBを見るのでスケーラビリティの問題になる （確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ） ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNAの人気サイトに学ぶ LAMPによるWeb-DBシステム構築/運用の極意（前編）
関西オープンソース 2008 30days Albumの裏側
Webアプリスケーリングの７つのステージ―アーキテクチャー戦略(翻訳) || パフォーマンスチューニングBlog: インターオフィス
naoyaのはてなダイアリー - ライブドアのテクノロジーセミナーでしゃべってきました。
