FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編）
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
プログラミング言語やデータベースが選べる新世代PaaS「DotCloud」が正式サービス開始
DotCloudの最大の特徴は、PHPやPerl、Ruby、Java、Python、Node.jsなど複数の言語と、MySQL、PostgreSQL、Cassandra、MongoDB、CouchDB、Redisなど複数のデータベースやMemcached、RabbitMQ、Hadoopなどのさまざまなソフトウェアを開発者が自由に組み合わせてプラットフォームを構成することができ、それがクラウド上のPaaSとして提供されるという点です。 構成されたPaaSの運用は当然ながらDotCloudが行います。モニタリングや動的なスケーリング、フェイルオーバー、耐障害性向上のため自動的に3つのデータセンターへの分散などが行われ、基本的に開発者は運用を気にする必要はありません。 新しい世代のPaaS これまでの代表的なPaaS、例えばグーグルのGoogle App Engine、セールスフォース・ドットコ
マイクロソフト、Node.jsをWindows Azure対応にするため開発元を支援
オープンソースとして開発が進んでいるサーバサイドJavaScriptの「Node.js」。Node.jsの開発を行っている米Joyentと開発者のライアン・ダール（Ryan Dahl）氏、マイクロソフトは、Node.jsをWindows AzureやWindows Serverに移植するための作業を開始したと発表しました。 オープンソース対応に積極的なマイクロソフト Node.jsをWidows Azure/Windows Serverのネイティブなアプリケーションとするため、最初の目標として非同期I/OのAPIであるIOCP APIへの対応が行われます。Windows対応の成果物としてはWindows対応のnode.exeがリリースされる予定です。 ライアン・ダール氏によると、これはNode.jsのコアアーキテクチャに対して大きな変更を伴うことになるとのことですが、マイクロソフトは技術的
グーグル、Google Apps ScriptのGUIビルダー発表。統合開発環境のクラウド化が進む
グーグルは、Google Appsのプログラミング言語「Google Apps Script」に、ドラッグ＆ドロップでユーザーインターフェイスを自由に構築できる「GUI Builder」機能を追加したと、Google I/O 2011のセッション「Developing Apps, Add Ins and More with Google Apps Script」で明らかにしました。 GUI Builderは無料でGoogleドキュメントを利用しているユーザーでも利用可能になっています。Googleドキュメントから任意のスプレッドシートを開き、［ツール］メニューから［スクリプトエディタ］を選択。起動したスクリプトエディタの［ファイル］メニューの［ユーザーインターフェイスを構築…」を選択すると、GUI Builderが起動します。 左側のオブジェクト一覧から、ボタンやラベル、テキストボックス、
グーグル、フル機能のMapReduceをGoogle App Engineで提供へ
グーグルは同社のクラウドサービスであるGoogle App Engineで、フル機能のMapReduce機能を提供することが同社のイベントGoogle I/O 2011で明らかにしました。 これまでGoogle App EngineではMapReduceを構成する「Map」「Shuffle」「Ruduce」の3つのうち、Mapperの機能の提供が行われてきました。 Google I/O 2011で行われたセッション「App Engine MapReduce」では、MapReduceを構成するすべての機能の提供が行われることが発表されています。 セッションのポイントを紹介しましょう。 App Engine MapReduce App EngineエンジニアリングチームのMike Aizatsky氏。 MapReduceは数年前にグーグルが開発した処理。社内ではほとんどあらゆるチームがこの処理
いきあたりばったりのアーキテクチャと教訓
スライドの作者であるGleicon Moraesは、これらの図を示した上で、リレーショナルデータベースはガムテープのようにつぎはぎで使えるような万能薬ではない。シャーディングや非正規化などは検討すべきよい選択肢であり、またリレーショナル以外のデータベースも選択肢としていれるとよいだろうと説いています。 そして次のような「リレーショナルデータベースの間違った使い方10項目」を示しているのです（訳は前述の記事「データベースの間違った使い方10項目」から）。 Dynamic table creation（動的なテーブルの作成） Table as cache（テーブルをキャッシュとして使う） Table as queue（テーブルをキューとして使う） Table as log file（テーブルをログとして使う） Distributed Global Locking（分散したグローバルなロック）
国内でもクラウド障害、復旧見通し立たず。NTTPCコミュニケーションズ
NTTPCコミュニケーションズが提供するパブリッククラウドサービス「WebARENA CLOUD9」に5月8日から障害が発生し、現在のところ復旧の見通しが立っていないことが同社から発表されています。 同社発表によると、5月8日にCloud9の仮想サーバが起動できなくなり、データの不整合の可能性が発生。すべての仮想サーバに対して接続ができなくなりました。 その後ファイルシステムの不具合を確認、復旧作業を開始したとのこと。 当初、復旧作業は9日にも終了する予定でしたが、その後作業が難航し、終了予定を12日に変更。しかし11日になって終了予定が「未定」に変更されています。 本記事執筆時点（13日 12時）時点で以下のように記述されており、データ復旧についても見通しが立っていない模様です。 データ復旧の可否を含め、見込みが判明しだい、改めて報告いたします。 度重なる変更となりましたこと大変申し訳ご
企業向けマイクロブログ「Yammer」が日本語対応。無料で利用可能
企業内で安全にTwitterのようなつぶやきによるコミュニケーションを実現してくれるサービス「Yammer」。先週から日本語、ドイツ語、フランス語など各国語対応のサービスが始まっていると報道され、試したところ日本語表示での利用が可能でした（実際には先週以前から日本語表示に対応していたとの情報をいただきました）。 無料でサインアップ、利用可能 Yammerは企業向けではありますが、無料でサインアップして利用することができます。ただし企業向けなだけあって、メールアドレスのドメインが同一のユーザーのあいだでしかつぶやきを見ることができません。つぶやきが自動的に公開されるTwitterとは違い、社内のユーザーだけにしか公開されないので、社内の情報を安心してつぶやくことができます。 また、社内の関係者だけでグループを作ることもできますし、ファイル共有、イメージ共有などもできるようです。 利用はサイン
［速報］今日、日本を含むアジア太平洋地域のIPv4アドレスが枯渇しました
日本ネットワークインフォメーションセンター（JPNIC）は今日付け（2011年4月15日）で、アジア太平洋地域のIPv4アドレスを管理しているAPNIC（Asia Pacific Network Information Centre）のIPv4アドレスの在庫が枯渇したと発表しました。 2011年4月15日をもって、 APNICにおけるIPv4アドレスの在庫は枯渇いたしました。 本件に関し、APNICからもアナウンスが出されています。 IPv4アドレスは今年2月に、最後のIPv4のアドレスブロックを世界に5つある地域インターネットレジストリ（RIR：Regional Internet Registry）に分配し、IPv4の配布を終了するというセレモニーを開催していました。アジア太平洋地域は世界で最も早くIPv4アドレスが枯渇した地域となります。 今後のIPv4アドレスの分配は？ JPNICで
グーグルが高速プロトコル「SPDY」をChromeブラウザで有効化。Gmailなどで利用を開始していた
グーグルが高速プロトコル「SPDY」をChromeブラウザで有効化。Gmailなどで利用を開始していた グーグルがより速いWebを実現するために、HTTPを高速化した新プロトコル「SPDY」を開発中であることは、昨年夏に公開した記事「グーグルがWebを高速化するために何をしているか」で紹介しました。 SPDYの話題はその後ほとんど見かけなくなりましたが、グーグルはそのSPDYをChromeに実装し、同社のサービスで利用していることがニュースサイトConceivably Techの記事「Google Chrome Gets SPDY – And An Onscreen Keyboard」で指摘されています。 なぜグーグルはひっそりとSPDYを有効化したのだろう？ SPDYとは従来のWebのプロトコルであるHTTPを改良し、毎回同じ情報がやりとりされるヘッダの情報を圧縮したり、リクエストの回数
グーグルが行っているビルドとテストの種類。続々、グーグルはあれほど多くのソフトウェアのテストをどのように行っているのか？ － Publickey
グーグルが行っているビルドとテストの種類。続々、グーグルはあれほど多くのソフトウェアのテストをどのように行っているのか？ グーグルでTest Engineering Directorを務めるJames A Whittaker氏が、ブログ「Google Testing Blog」に書いているグーグル社内のソフトウェア品質に関するノウハウ。最近の記事「How Google Tests Software - Part Four」「How Google Tests Software - Part Five」では、ビルドの種類とテストの種類について紹介しています。 One of the key ways Google achieves good results with fewer testers than many companies is that we rarely attempt to sh
災害にあったITシステムを操作しなければならない人が知るべきこと
東北地方太平洋沖地震が金曜日に発生し、被災された皆様には心よりお見舞い申し上げます。 そんな中でも、この月曜日から多くのIT関係者が被災したかもしれないITシステムの復旧に取りかかるのではないかと思います。そうした方々に役に立つ記事を届けられないだろうかと、ユニアデックスの高橋優亮氏に相談したところ、大いなるご賛同をいただき有志の方々とノウハウをまとめたこの文書「災害にあったITシステムを操作しなければならない人が知るべきこと v0.2」を作り上げていただきました。 本文書の主眼は被災したITシステムを復旧させようとする方々に向けた情報提供ですが、システムに電源を入れる前の注意事項、電源投入順序の考え方などの説明は、これから関東地方で計画されている停電が起きたあとのシステム再起動の際などにも参考になると思います。 本文書はどなたにでも活用していただけるようにGNU Free Documen
インテル、LANカードを無料でFCoE対応にするソフトウェアを発表。FCoE普及へ注力
サーバとストレージの接続に用いられているSAN（Storage Area Network）では、ファイバーチャネル、スイッチ、ホストバスアダプタなどで構成されており、コンピュータ間のネットワークとして使われているイーサネットとは物理層が別になっています。 このSANをイーサネットで統合する技術がFCoE（Fibre Channel over Ethernet）です。具体的には10Gbイーサネットを拡張したCEE（Converged Enhanced Ethernet）を物理層に用い、ここにSANのプロトコルを流せるようにする技術で、これによりコンピュータ間の通信も、コンピュータとストレージ間の通信もすべてイーサネットで統合することが可能になります。 ソフトウェアでNICをFCoE対応に 米インテルは、同社のサーバ向けLANカード「X520」ファミリーをFCoEに対応させるソフトウェア「Op
「AndroidにJavaコードを流用か？」の報道が出るも専門家は一蹴、しかしFUDは広まる
結論はこうだ。「Androidに、Javaからのコード流用の疑念が提出されたが、両者のコードを比較した結果、明らかな流用は発見できなかった」。この一連の経緯を振り返ってみよう。 （本記事は、ゲストブロガーのITジャーナリスト 星暁雄氏による投稿です） デコンパイルでソースを復元、比較 知的所有権問題のコンサルタントが「AndroidにJavaのコードが混在か？」という内容のBlog記事を書いた。記事の内容は、ComputerWorldやEngadgetに紹介された。読んだ人は「Googleはまずい事をしでかしたものだ」との印象を持ったことだろう。Googleは、AndroidがJavaの特許と著作権を侵害しているとしてOracleから訴えられている最中だからだ。だが、記事を読んだプログラマが「結論としてJavaコードの盗用の事実はない」ことを明らかにした。 火種となったのは、Florian
重要なテクノロジーは10名以下のチームで作られた ～ Innovation Sprint 2011（後編）
1月14日にコミュニティが主催し都内で行われたイベント「Innovation Sprint 2011」は、アジャイル開発手法の1つとしてもっともよく使われている「スクラム」の生みの親と言える2人、野中郁次郎氏とジェフ・サザーランド氏がそれぞれ基調講演を行いました。しかもサザーランド氏と野中氏が会うのは今回が初めてということで、アジャイル開発の歴史に残るイベントになりました。 野中氏の基調講演に続き、サザーランド氏の基調講演の内容を紹介しましょう。 （本記事は「スクラムの生みの親が語る、スクラムとはなにか？ たえず不安定で、自己組織化し、全員が多能工である ～ Innovation Sprint 2011（前編）」の続きです） なぜソフトウェアのプロジェクトは失敗するのだろう？ Chairman,the Scrum Training Institute ジェフ・サザーランド氏。 なぜソフトウ
NoSQLをRDBの代わりに使うと、どういう恐ろしいことが起こるか。PARTAKEの作者が語る
データベースの世界でいま注目されているのがNoSQL。特にキーバリュー型データストアは、グーグルのBigTable、FacebookやTwitterが内部で利用しているCassandraやAmazonクラウドが提供しているSimpleDBなど、すでに実際に使われ始めています。 ではそのNoSQLをリレーショナルデータベースの代わりに使ってシステムを構築するとどうなるのか？ 身をもって体験したことを記したShinya Kawanaka氏によるプレゼンテーション「間違った方向にCassandraを使ってみた」が公開されています。 NoSQLを用いたシステム構築は、リレーショナルデータベースによる構築どう違うのか？ とても分かりやすくまとめられています。ご本人の承諾もいただいたので、その内容を紹介しましょう。 NoSQLを使ったときに起こる恐ろしい事例 プレゼンテーションのテーマは「NoSQLを
JSONに押されるXMLの存在
Web関連のAPIからXMLが削除され、JSONが主流になりつつある。Norman Walsh氏のブログに11月17日にポストされたエントリ「Deprecating XML」は、そのような書き出しで始まっています。 Someone asked me recently what I thought about XML being removed from the Twitter streaming API. Around the same time, I heard that Foursquare are also moving to a JSON-only API 誰かが最近僕に聞いたんだ。Twitter Streaming APIからXMLが削除されたけど、どう思う？ って。そういえばFoursquareもJSONだけのAPIへ移行したと聞いたけど。 JSONはXMLよりシンプルで、基本
アメリカ国立標準技術研究所による、クラウドコンピューティングの定義
クラウドとは何なのか？ にはさまざまな議論があります。最近では、セールスフォース・ドットコムのマーク・ベニオフ氏が「偽のクラウドに気をつけろ！」と言えば、オラクルのラリー・エリソン氏が「セールスフォース・ドットコムはクラウドではなく単なるアプリケーションホスティングだ」と反論するなど、人により立場により、その定義には大幅な違いがあります。ある意味でそれぞれが都合のいい解釈をしているといってもいい状態です。 その中であえて「クラウドの定義とは何か？」について、もっともコンセンサスが得られる定義があるとすれば、アメリカ国立標準技術研究所（National Institute of Standards and Technology：NIST）による定義でしょう。クラウドとは何か？ を考えるときには必ず参照することになる定義です。 すでにNISTのクラウド定義については、Hadoopユーザー会によ
マイクロソフトが戦略変更。HTML5が唯一のクロスプラットフォーム、SilverlightはWindows Phone 7のプラットフォームに
「私たちの戦略をシフトした」と、マイクロソフトのサーバー&ツール ビジネス担当 プレジデントのボブ・マグリア氏が、ブログAll About Microsoftのエントリ「Microsoft: Our strategy with Silverlight has shifted」のインタビューで語っています。 新たな戦略では、SilverlightはWindows Phone 7のアプリケーション開発プラットフォームとなり、HTML5がiPhoneなどモバイルも含むクロスプラットフォームに位置づけられると説明しています。 Publickeyでは以前から「iPhone OSのFlash排除で、HTML5/JavaScriptだけがマルチプラットフォーム対応として残った」と、HTML5が唯一のクロスプラットフォームとなり、マイクロソフトのSilverlightやアドビスシテムズのFlashが目指し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterにおける大規模システム構築、3つの原則