Hadoopは借りて使え - masayang's diary
NTTデータが公開したHadoop資料が話題になっている。ざっと読む限り、コード事例もあって参考になることは確か。読まない手はないだろう。 だけど、Hadoop環境を自前で構築することには私はあまり賛同できない。技術屋が勉強するため、というのなら話は別だけど、事業でHadoopを使うのならクラウド上のを借りることをお勧めする。 例えば1000台のクラスタを構築して、デイリーバッチ処理が5分で終わるようになった！ と喜ぶのも良いだろう。でも、残りの23時間55分はそのクラスタどうするのか？寝かせておくのであればROI評価は非常に低いものになるだろう。 かといってケチって5台のクラスタにしたらほぼ1日中稼動したのでROIは高くなりましたが処理時間短縮には至りませんでした、なんていうのも馬鹿げている。 じゃ、どこに最適点があるのか？ 答は「自前で持たず、必要なときに必要な台数のクラスタを借りる」
自作サーバカンファレンス - 科学と非科学の迷宮
自作サーバカンファレンス : ATND 自分用メモなので他の人が読んでもきっと役に立ちません。 全体 基本は「クラウド(EC2)高い、ベンダサーバムダに高い、だから自作にしよう」 ほとんど皆1Uハーフ、たまに2Uハーフ ディスクは2.5inch、DBスレーブにはIntel SSD使うところ多し 用途はAPサーバ、DBスレーブ、ストレージサーバなど サーバ代は大体5-10万/台 最大1Aを少し超えるぐらい、アイドル状態で0.5Aとか ソフトの話だが、皆当たり前にLVS使ってた はてな 物理オペレーションをほとんどアルバイト任せにしている点が印象的。大手SIだと子会社や派遣の人を使ってやらせる作業。 ベンダ製サーバに全く頼っていないためか、自作サーバの中では最もまともに見えた。 APサーバで8万、DBサーバ(SSD)で16万、ネットワークサーバで10万ほど。 材料は値段の高騰等を見据えて2,3
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
そろそろモバツイがEC2に移転した話でも書くとするか。
モバツイ以外にも実運用で回してるEC2な人たちは結構いると思うのですが、参考までに。 モバツイッターがAmazon EC2の人柱をやってくれている モバツイッターがAmazonEC2に移行しようかなとのこと。 さっそく性能問題にぶち当たったらしいし、ナイス人柱。 前にあるイベントで、EC2を活用されているHeartRailsの方にモバツイの構成をEC2に移転したらどうなるか？みたいな話をお伺いしたら、すぐ8万円/月ぐらいに構成になってしまう、と言われたのですが、大体、どんぴしゃな感じでした。 （追記：なお個人でWebサービスをスモールスタートする場合は、サーバの運用知識がそこそこある前提で、まずは自宅サーバから運用すると良いです。月間600万PVぐらいまでなら、HP ML115G5 + Phenomでこなせるハズなので。その辺についてはまたいずれ書きます。） ■EC2とは？ 既にご存じの方
高速SSDの落とし穴。データベースで利用するときはご注意を！
今年はSSDの台頭がめざましい。価格の低下、大容量化、そして高速化、さらには低電力化まで期待できるというからもうHDDの出番はなくなるんじゃないだろうかというぐらいの勢いである。しかしそんなSSDもデータベースで利用する時には気をつけてもらいたい。 MySQL Performance Blogでインテル製SSDを使って検証した結果がレポートされている。 インテル製SSDはめっぽう早い。彼らのテストでは一秒間に5250回もの書き込みが出来たそうだ。しかしそれはライトバックキャッシュが有効になっているときの話であって、ライトバックキャッシュを無効にすると書き込みは秒間1200回まで低下したらしい。（それでも高速だが。） で、このインテル製SSDのライトバックキャッシュはくせ者で、バッテリー等で保護されていない。つまり、ライトバックキャッシュにダーティな（まだディスクへの書き出しが完了していない
情シス子会社に対する親会社の不満、サポート体制がトップ
矢野経済研究所が2月26日に公開した調査結果で、親会社の85％が情報システム子会社のサポート体制を不満に思っていることが分かった。調査結果は情報システム子会社66社と親会社20社に実施したアンケートをまとめた。 情報システム子会社の「サポート体制」について親会社に聞いた結果では「大変不満」「不満」の合計が85％。「満足」は10％だった。矢野経済研究所は「情報システムの運用や保守をサービスとして十分に提供できている情報システム子会社が少ないため」と推測している。 「満足」が多かったのは上流工程に当たる「ソリューション提案力」「コンサルティング力」で、矢野経済研究所は「情報システム子会社がこれまでに蓄積した業務知識が親会社から評価されたためと推測する」としている。 情報システム子会社には、親会社またはグループ会社のプロジェクトにどの程度、参画しているかを聞いた。最も多かったのは「親会社が主導だ
金融機関は建物をRAID1にしている
最近はてながGitに移行するきっかけにもなったRAIDが壊れてしまう、という事件ですが、金融機関では、RAIDぶっ壊れたwwwwwデータ復旧できねぇwwwwwテラワロスwwwwwデータセンター燃えたwwwwwバックアップのテープ全部溶けたwwwwwテラワロスwwwwwバックアップの復旧おわんねwwwww銀行業務１週間停止wwwwwテラワロスwwwwwとか言う事が出来ません。その場にいたら衝動的に飛び降りるかもしれません。銀行が機能停止に陥ると、経済的に、政治的に、法的に、まぁとに書くあらゆる麺でオワタになるそんな事故。そして、こういった事を本気で心配するのが銀行。銀行のデータが壊れて戻せない、と言う事はどう言う事か、銀行業務をたとえ１日でも停止せざるを得ない、と言う事はどう言う事か、を考えてみるとわかるかと思います。つまり、銀行において、「データ」に求められる事は絶対に壊れない事絶対に想定
無いから作った人たち
データベース技術の世界に新顔が次々と登場している。米Danga Interactiveの「memcached」、ミクシィの「Tokyo Cabinet」と「Tokyo Tyrant」、楽天の「ROMA」、グリーの「Flare」などだ。いずれも半導体メモリーを使って大規模データベースを高速処理する技術である。面白いのは、4社ともIT製品を開発するメーカーではないことだ。 4社は、Webを使ったサービス事業を手掛ける企業であり、本来であればメーカーが開発した製品や技術を使う立場である。ところが、こうした「ユーザー企業」が自ら基盤技術を開発し、それを利用している。 memcachedやTokyo Cabinet/Tyrant、ROMA、Flareの中では、memcachedが一番古い。Danga Interactiveが自社のブログ・サービス「LiveJournal」を改善するために2003年に
OPC Diary: デブサミ2009 株式会社はてなの開発戦略
« TracLightning2.1リリース | メイン | IDE as a Service ?? » 2009年02月15日 デブサミ2009 株式会社はてなの開発戦略 デブサミ2009「株式会社はてなの開発戦略」講演メモ - RX-7乗りの適当な日々 要約するとSVNリポジトリをおいていたサーバーののRAID1で組んでいたディスクが片側壊れたら、もう片方も実は不良でした→ リポジトリがぶっ飛びました！3500ぐらいのプロジェクトがパー→バックアップえ？なんですかそれ？→gitに乗り換え。→gitサイコー!（イマココ） いやはや、この転んでもただではおきないさ加減は見習うべきなんだろうな。 それにしても、ディスク冗長化とバックアップとそのバックアップもシステムバックとデータバックアップは全部意味が違うぞって言うのは開発者もおぼえておいた方が良いよね。僕には怖くてバックアッ
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
＃42 「内製化」と「クラウド化」が「社内ＳＥ」を金ぴかにする - 非線形ノート (IT×エンジニア×転職×経営)
商売柄、社内ＳＥや社内ＳＥになりたい人と接することが多い。特にインプレスキャリアでは彼等の転職相談に乗りながら、彼等を取り巻く環境をいろいろと考え込むことが多い。社内ＳＥは若くて何も知らない時は楽しくやれる。でも３０を超えるぐらいから自分のキャリアパスに不安や閉塞感を抱えはじめる。社内から受ける低い評価にも屈託があり、その上明確なキャリアパスが用意されておらず、途切れた線（パス）のままポツンと放置されているような感覚を持っているようだ。 面談後、他の職種を含めていろいろとスキルアップやキャリアアップの求人案件を紹介し応募してみるのだが「横滑り転職」以外は厳しいのが現実である。「なんとかならないかな」と二人して頭を抱え込んだこともある。社内ＳＥの存在そのものについてそれぞれの企業が再定義しなければ、この状況が変わるのは難しい。。。と思っていた。 しかし最近になって、どうやら世の中の技術、市場
Redmineはもっと評価されていい - kirara_397's blog
今日はプロジェクト管理ソフト「Redmine」を紹介します。これはもっと評価されていいソフトだと思うので、ささやかながら布教してみます。 Redmineって何さ？ プログラム言語「Ruby」（正確にはそのフレームワーク「Ruby on Rails」）で書かれた、オープンソースのプロジェクト管理ソフトウェアです。こういうのはBTS（Bug Tracking System: バグ追跡システム）とかITS（Issue Tracking System: 問題追跡システム）とも呼ばれます。ソフトウェア開発チームでの使用を想定されていて、Wiki、問題管理、バージョン管理がセットになっているのが特徴です。 そういうのってTracの方がメジャーでしょ？ その通りですね。Tracはプログラム言語「Python」で書かれている同種のソフトで、現在のBTSの原型を作ったと言っていいと思います。また、基本機能に
特集 Windows Server 2003完全ガイド 可用性を向上させるボリューム・シャドウ・コピー・サービス 1．可用性を向上しTCOを削減するVSS - ＠IT
特集 Windows Server 2003完全ガイド 可用性を向上させるボリューム・シャドウ・コピー・サービス ―― SANなどのエンタープライズ・ストレージ・バックアップにも対応―― Windows Server 2003では、サーバの可用性向上やTCO削減のために、ハードディスクのデータなどをバックアップするための新機能が追加された。今回取り上げる「ボリューム・シャドウ・コピー・サービス（Volume Shadow Copy Service、以下VSS）」がそれである。「ボリューム・シャドウ・コピー（またはシャドウ・コピー）」とは、従来からバックアップ・ソフトウェアで「スナップショット」と呼ばれていた機能のことで、ある特定時点での瞬間的なファイルやデータの状態を記録したものを指す。 ただし、このスナップショットはバックアップ・データそのものではなく、バックアップ対象のファイルやデータ
「西新宿データセンター」における電源障害発生のお詫び - さくらインターネット創業日記
たなか＠さくらインターネットのブログ。96年にさくらインターネットを創業してホスティングサービス(レンタルサーバー)を開始。05年に上場。日常や会社のことなど。（社長ブログ） この度は、弊社西新宿データセンターにおいて、12月19日に電源障害が発生 したことに関しまして、多くの皆様にご迷惑、ご心配をおかけいたしました。 ここに深くお詫び申し上げます。 インターネットが重要な社会のインフラとして皆様の生活を支え、なくては ならないものとなった現在、この度の事故により社会に対して大きな影響を 与えたことについて重く受け止めております。 弊社といたしましては、原因の究明及び対策はもちろんのこと、再発防止に 対して社員一同最大限の努力をしていくことを約束させて頂く所存です。今後 ともご指導ご鞭撻のほどよろしくお願い申し上げます。 「西新宿データセンター」における電源障害に関する中間報告 http:
「ヨドバシ・ドット・コム」がリニューアル直後から表示が遅すぎて激重になる大規模障害が発生、一体何が起きているのか？
ヨドバシカメラの公式サイト「ヨドバシ・ドット・コム」が2008年10月21日（火）にリニューアルされました。個人的な感覚では「使いにくく、見にくく、お目当ての商品が探しにくく」なって改悪されたように感じられていたわけですが、それどころかあまりにも表示が遅すぎて激重になり、なんとお詫びページまで作られるほどになってしまいました。 そして既にリニューアルから1週間が経過したものの、いまだに改善されておらず、一体何がどうなっているのかよくわからない状態で、どれぐらいの損失が発生したのかが非常に気になります。何が起きているのでしょうか？ 戦慄の実態は以下から。 まず発端は10月21日（火）。リニューアル直後から重くなり始め、ついにはタイムアウトを連発。たまたまこの日は前日にヨドバシ・ドット・コムから「ポイント残高失効のお知らせ」が届いていたため、ポイントでLANケーブルを買おうと思っていたのですが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ogawa::Buzz: レンタルサーバを「捨てる技術」
Ywcafe.net
＠IT：Databaseフォーラム全記事インデックス オラクルパーティショニング
Log Parserでログを統合的に扱い運用保守に役立てる（実践編）
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
