月間57億PV、300台のサーバを運用するミツバチワークスが編み出したインフラ技術
ミツバチワークスのエンジニアは、「月間57億PV」という巨大なトラフィックをさばくため、さまざまな技術を駆使してインフラを構築している。主と副の2本立てでデータベースを運用し、300台のサーバを使いながら「負荷の限界」に挑むエンジニアに、技術ノウハウを聞く。 ミツバチワークスが運営するケータイブログサービス「DECOLOG」は、異色のサービスである。10代後半から20代前半の女性に最も人気のあるケータイブログサービスで、「デコメール」などを利用して、かわいくカラフルなブログを作成できる。広告基準を厳しくすることで女性ユーザーにも不安なく使ってもらえるような安心感を作り出し、口コミだけでじわじわとアクセス数を伸ばしてきた。 結果、2010年7月実績で月間57億PV（ページビュー）超、想定800万UU（ユニークユーザー）、会員登録者数180万件と、ケータイブログサイトでは国内最大のサービスとし
RailsDevCon 2010 で話してきた : Figure out!! -ドリコムエンジニアブログ
こんにちは！ onk です。 一昨日の 11/20 に RailsDevCon2010 にスピーカーとして参加してきました。場所はオラクル青山センターさん。 聞いていただいた皆さま，ありがとうございました。いやー，30 分も話すの初めてだったので緊張したｗ 実行委員の皆さまもお疲れさまでした！ プレゼン資料はこちら⇒とあるアプリの開発運用(トラブルシュート) 内容ですが， ソーシャルならではの負荷分散、インフラ、ログ解析とかが聞けると夢が広がっていいかも。他セッションと絶対かぶらないし。大規模サービス作ろうとしている人にはありがたいと思います。 と @2celeb さんからリクエストがあったので，『聞くだけで運用した気になるソーシャルアプリ』を主題にしました。駆け足でしたが，伝えたいことは盛り込めたかなぁと思います。少しでも参考になれば幸いです。 関連記事 RailsDevCon2010
repcached-2.0リリースのお知らせと、超簡単なサンプルコード : DSAS開発者の部屋
repcached-2.0(memcached-1.2.5ベース) をリリースしましたのでお知らせします。 http://lab.klab.org/modules/mediawiki/index.php/Repcached (日本語) http://repcached.lab.klab.org/ (英語) 今回の目玉はマルチマスタ構成のサポートです。 以前のバージョンはマスタ/スレーブ構成だったので、必ずマスタへ書き込まなければいけませんでした。そのため、接続先のサーバがマスタなのかどうかをクライアントが判別しなければいけなかったり、keepalivedなどと併用するなどの工夫が必要でしたが、今回のバージョンではその必要がなくなります。両方のサーバに対してデータを書き込むことができるようになったので、かなり使いやすくなったと感じています。 repcachedはパフォーマンスを最重視している
embomaコラム
株式会社えむぼま CTO 高見禎成 ■swapさせずに最大プロセス数にせよ！ WWWサーバが最大パフォーマンスを出すには 1) SWAPさせないで 2) 最大プロセス数に設定する ことが最大の条件です。 他にapacheのhttpd.confでHostNameLookups offにしてログ記録時の名前解決をなくす等細かい積み重ねはいくつかありますが、最大のポイントは上記2条件でしょう。 ■最大プロセス数は揃えよ！ SWAPさせない最大プロセス数をいくつにするかはこの後見ていきますが、どの値にするにせよapacheとtomcatとDBの最大プロセス数は揃えましょう。 apacheのMaxClietnsは標準で255、tomcatのMaxThreadsは標準で150、MySQLのmax_connectionsは標準で100です。 apacheが2台でMySQL 1台に接続しているなら、MyS
[PLUGIN RELEASE] ActsAsReadonlyable
Introduction ActsAsReadonlyable adds support of multiple read-only slave databases to ActiveRecord models. When a model is marked with acts_as_readonlyable, some of AR finders are overridden to run against a slave DB. The supported finders are find, find_by_sql, count_by_sql, find_[all_]by_*, and reload. Finders can be forced to fall back to a default DB by passing the :readonly flag set to false.
Magic Multi-Connections
→ Ruby on Rails → ActiveRecords WARNING Despite the 1.0.0 version number, various people have experienced problems using this tool. I haven’t yet found a solution (I haven’t really been looking though), so please subscribe to the forum or RubyForge news for any updates on a solution. What ActiveRecord models are allowed one connection to a database at a time, per class. Ruby on Rails sets up the d
mod_cluster登場、mod_jkやmod_proxyよりも優れたロードバランシング | エンタープライズ | マイコミジャーナル
jboss.org: community driven JBoss Web ProjectおよびJBoss AS Clustering Projectから興味深いプロジェクトが発表された。その名もmod_clusterだ。現在のところ1.0.0.Beta1が公開されている。名前のとおりApache HTTP Serverで動作するモジュールで、背後で動作するTomcatやJBoss Web、JBoss ASなどのアプリケーションサーバへのコネクションを担当する。ロードバランシングの機能とプロクシの機能を備え、mod_jkとmod_proxyの双方の機能をもったような仕組みになっている。 mod_jkやmod_proxyとの大きな違いは、アプリケーションサーバからHTTPサーバへのバック通信をサポートしているところにある。HTTPメソッドでアプリケーションサーバからmod_clusterモジ
Tomcatでフェイルオーバー（比較） - 気の向くままに・・・
（細かい設定はさておき）Tomcatでサポートされている３種類のセッション情報の共有化に関して試してみたわけですが・・・その比較を。Tomcat easy clustering configurationに詳細にまとめられていますが、個人的な意見も交えつつ。なお、フェイルオーバーに関連した細かい設定等に関しては、気が向けば改めてまとめるかもしれません。 【PersistenceManagerを利用】 PersistenceManager+FileStoreおよびPersistenceManager+JDBCStoreの組み合わせを用いた場合、セッション情報の保管が行われるまで若干のタイムラグが発生してしまいます。他にも、いくつかの不利な点があります。 設定でセッション保管の間隔を短縮することは可能だが、最低でも１秒以上の間隔は必要。当然ながら、間隔を短くしすぎるとリソースの消費は激しくなる
[ThinkIT] 第1回：Tomcatによるクラスタリングの実現 (3/4)
Tomcatサーバにリクエストを転送したけれどもTomcatがダウンしていた場合、mod_jkはクラスタ内の次のサーバにリクエストを割り当て、クライアントに異常事態が発生したことを気づかせないような自然なフェイルオーバーを実現します。 一度ダウンと判定されたサーバに対してはその後リクエストを振らないようになりますが、mod_jkは一定周期でサーバの生死確認を行うので、その時に正常稼動を再度確認できれば、またロードバランスの対象とします。 スティッキーセッションを使うことで、セッションを利用するアプリケーションの場合でも同じサーバにアクセスし続けることでセッションを維持できていたのですが、そのサーバがダウンしてしまったら、mod_jkは別のサーバにリクエストを割り振るしかありません。当然その新しく割り当てられたサーバはセッション情報を持っていないため、処理を継続することができなくなり、新規セ
Tomcat > クラスタ構成の Tomcat をApacheでロードバランスする
動作環境 このページでは以下の環境での動作を説明しています。 Debian Linux Etch Apache2.2.3 Tomcat5.5 J2SDK 5.0 Update10 ロードバランサの必要性 Tomcatでクラスタリングを行うことで、セッション情報の共有が行われます。これによって使用中のTomcatがダウンしても、別のTomcatに接続することでセッションを継続することができるはずです。 しかし、これは現実的でありません。使用中のTomcatが動作を停止したとき、ユーザーはブラウザのURLを手で書き換えて稼働中のTomcatに明示的につなぎに行く必要があります。しかも、通常セッションIDはcookieに格納されています。これではURLが変更した場合セッションIDが取得できません。つまり、cookieが無効になっていてURLにセッションIDが組み込まれているときに、手作
[ThinkIT] 第1回：Inside Hatena Bookmark (1/2)
筆者が勤務する株式会社はてなが提供するある一つのインターネットサービスを題材に、LAMP（Linux＋Apache＋MySQL＋Perl）でのアプリケーション開発や、負荷分散について述べるという発表でした。はてなで提供しているサービスには、はてなブックマーク以外にもはてなダイアリー（注2）のような月間何億PV（Page View）もある大きなサービスもあります。はてなブックマークはそれらに比較すると小さい、中規模なシステムです。 システム運用について発表するにあたって、億単位のPVをさばく巨大なサービスについて述べるよりも、ある程度現実的な規模のものについて解説する方が、みなさんの参考になるかなと思い、このテーマを選択しました。 本稿ではYAPC::Asiaでの発表の中からいくつかのトピックを選んで、Perlを使ったシステムの運用や負荷分散のコツなどを中心に解説したいと思います。 なお、発
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop、hBaseで構築する大規模分散データ処理システム
redhat.com | jboss document
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine