無いから作った人たち
データベース技術の世界に新顔が次々と登場している。米Danga Interactiveの「memcached」、ミクシィの「Tokyo Cabinet」と「Tokyo Tyrant」、楽天の「ROMA」、グリーの「Flare」などだ。いずれも半導体メモリーを使って大規模データベースを高速処理する技術である。面白いのは、4社ともIT製品を開発するメーカーではないことだ。 4社は、Webを使ったサービス事業を手掛ける企業であり、本来であればメーカーが開発した製品や技術を使う立場である。ところが、こうした「ユーザー企業」が自ら基盤技術を開発し、それを利用している。 memcachedやTokyo Cabinet/Tyrant、ROMA、Flareの中では、memcachedが一番古い。Danga Interactiveが自社のブログ・サービス「LiveJournal」を改善するために2003年に
OPC Diary: デブサミ2009 株式会社はてなの開発戦略
« TracLightning2.1リリース | メイン | IDE as a Service ?? » 2009年02月15日 デブサミ2009 株式会社はてなの開発戦略 デブサミ2009「株式会社はてなの開発戦略」講演メモ - RX-7乗りの適当な日々 要約するとSVNリポジトリをおいていたサーバーののRAID1で組んでいたディスクが片側壊れたら、もう片方も実は不良でした→ リポジトリがぶっ飛びました！3500ぐらいのプロジェクトがパー→バックアップえ？なんですかそれ？→gitに乗り換え。→gitサイコー!（イマココ） いやはや、この転んでもただではおきないさ加減は見習うべきなんだろうな。 それにしても、ディスク冗長化とバックアップとそのバックアップもシステムバックとデータバックアップは全部意味が違うぞって言うのは開発者もおぼえておいた方が良いよね。僕には怖くてバックアッ
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
さくらインターネット移行記#4 はてなダイアリー移転 - naoyaのはてなダイアリー
いきなり失礼しました。はてなのインフラチームの打ち上げは渋谷で焼肉と相場が決まっています。これは前回の打ち上げで行った焼肉屋での一枚。明後日にははてなダイアリーデータセンター移転打ち上げを開く予定です。 ...ということで、昨日ようやく、はてなダイアリーをさくらインターネットのデータセンターへ移転しました。恒例の写真で振り返る移転レポート、はてなダイアリー移転編です。 今回の移転は深夜に行いました。0:00 に会社に集合。移転にあたって一ヶ月くらいかけて準備をしてきたので慌てることもなく、サービス停止時間の 2:00 までわりとマターリ進行でした。僕は id:hideoki と PSP でモンハンしてました。 これは ENERMAX LIBERTY 電源。最近はてなの自作サーバーで愛用している電源です。はてなダイアリーの移転にあたり動いているサーバーを止められるチャンスだったので、これを期
ITProSPECIAL : ハイパフォーマンスと省エネルギーを両立する最新サーバソリューション
「人力検索はてな」，「はてなダイアリー」，「はてなブックマーク」など，Web 2.0時代を象徴する新サービスを次々と打ち出してきた株式会社はてな。そのビジネスを支えるインフラとは，一体どのようなものなのだろうか。はてなのCTO，伊藤直也氏は，Session 2の「はてなのITインフラ」で，「当社のシステムは，OSS(オープンソースソフトウェア)を主体として構成されています」と語った。 構成している主なプロダクトとしては，Linux 2.6，Apache 2/lighttpd，MySQL 4.0，Perl 5.8，Ruby 1.8，C/C++などが挙げられる。また，開発の効率化を図るために，自社製のPerl MVCフレームワークや，Ruby on Railsなども活用。さらにロードバランサやキャッシュ，ルータ，バージョン管理，デプロイ，稼働監視，負荷計測など，主要な業務システムのほとんどをO
さくらインターネット移行記#2 VPN越しのMySQLレプリケーション
前回さくらiDCに移転し始めた、ということを書いたのですが、あれから一ヶ月ちょっとが経過しましてその後も順調に iDC への移転が進んでいます。すでにラックもいくつか借りて、サーバーも数十台がさくら iDC で稼動しています。回線がこれまでよりも高速なバックボーンに接続されつつ、帯域幅も大きくなったことから、移転したサービスによってはこれまでよりもパフォーマンスが出ているサービスもあります。うち比較的大きなデータを扱うフォトライフも移転を完了していますが、おかげさまで画像の読み出しがかなり速くなったのが体感できるぐらいスループットが向上しました。 既存サービスを移転するにあたって、どういった構成でそれを行っているかをちょっと紹介してみようと思います。 移転当初は、既存のはてなのサービスとはあまり関係していないサーバー群から手を付けました。例えば広告のシステムといった、はてなのデータベースを
はてなブックマークの裏側その後 - naoyaのはてなダイアリー
まるごとPerl! Vol.1 で執筆させていただいたはてなブックマークのシステムに関する記事が ThinkIT で読めるようになりました。記事全体を何回かにわけて掲載していただいています。まるごとPerlの記事なのですが、実は Perl のことはあまり触れていなくてはてなのサーバー運用概論みたいは話が主なところです。 http://www.thinkit.co.jp/free/article/0610/1/1/ http://www.thinkit.co.jp/free/article/0610/1/2/ せっかくなので現状報告も含めて少し補足をしてみようかなと思います。 現在の数字 記事の中での数字は6月のもので ユーザー：45,000人 ブックマーク数：535万件 ページビュー：5,000万/月 サーバー：17台 となってますが、現在 10 月の方はというと ユーザー: 60,000
[ThinkIT] 第2回：はてなフレームワークとPerlとシステム負荷 (1/2)
このぐらいの規模のWebアプリケーションを作る場合、スクラッチからコードを書いていたのでは効率が悪いですし、また複数のプログラマで開発を進めるにあたってコードの品質を一定に保つのが難しくなってきます。ということで、ここはフレームワークの出番です。 PerlにはCatalystやSledge、CGI::Applicationといったオープンソースの優れたフレームワークがいろいろとありますが、はてなでは自社開発の「はてなフレームワーク」を利用しています。 はてなフレームワークを開発した当時の2001年頃はLL向けの良いフレームワークがあまり無かったため、自分たちで作りました。その後も改良を続け現在も同フレームワークを利用し続けています。 最近ではPerlに限らず、優れたフレームワークの実装が世の中に多数あり、その多くがフリーです。あまり自社開発のフレームワークを利用することの利点は多くないかも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine