Disco MapReduce
Disco is a lightweight, open-source framework for distributed computing based on the MapReduce paradigm. Disco is powerful and easy to use, thanks to Python. Disco distributes and replicates your data, and schedules your jobs efficiently. Disco even includes the tools you need to index billions of data points and query them in real-time. Disco was born in Nokia Research Center in 2008 to solve rea
Interopクラウドコン優勝は「えとらぼ」分散key-valueストレージ kumofs - Blog by Sadayuki Furuhashi
InteropTokyo 2009 クラウドコンピューティングコンペティション（通称クラウドコン）は、我等がえとらぼチームが優勝しました！ 実行委員･StarBEDプロジェクト･IBMの皆様を始め関係者の皆様、ありがとうございました。 プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 プレゼンムービー（マウスクリック/矢印キーで進む） PDF版 ポスター パンフレット *2 …どれも相当に気合いが入っているので、ぜひご覧ください^^ Ustream.tvの録画もあります（えとらぼチームはちょっと細切れですが） 途中で行ったデモは、StarBEDの45台の物理サーバーを使ってkumofsを動かして、ランダムで選んだノードを自動的にkill/再起動するスクリプトを走らせたものです。サーバーが落ちてもシステムは全然止まらないし、どのサーバーにも均等に負荷が分散されます。 時
Google Developer Day 2009で学んだ Java版Google App Engineの勘所
はじめに 6月9日に開催された「Google Developer Day 2009」で、夷藤勇人氏と鵜飼文敏氏により「Javaで動かすGoogle App Engine」というセッションが講演されました。本稿では、その概要をお伝えします。 Google Developer Dayとは、Googleが主催する開発者向けのイベントです。例年、Google Japanのスタッフのみならず、世界中のオフィスからソフトウェアエンジニアやデベロッパーアドボケイト（advocate；支持者）、API Expert（Google認定のサードパーティエンジニア）が駆けつけて、Googleが関わる最新のテクノロジーのセッションが行われています。 セッションでは、前半で夷藤勇人氏がGoogle App Engineの概要を説明し、後半で鵜飼文敏氏がデータストアについて説明しました。 以下、罫線で囲んだ部分は、セ
米ヤフー、Hadoopの自社開発版をリリース
Yahooは米国時間6月10日、Hadoopの自社開発版をオープンソースとしてリリースすると発表した。なお、Hadoopは同社の業務の多くを支えているグリッドコンピューティングフレームワークである。 Yahooは、Apache Software Foundationが主導しているHadoop開発に大きく貢献してきている。Hadoopは基本的に、Googleが同社のインデックスサーバを稼働させるために使用しているソフトウェアのオープンソース版であり、Yahooも自社においてGoogleと同じ目的でHadoopを使用している。 Yahoo Grid Technologiesの品質およびリリース担当エンジニアリングマネージャーであるNigel Daley氏の10日付けのブログ投稿によると、HadoopはYahooの社内において膨大な数のサーバ上で実行されているという。他の企業や組織にとって、Ya
OSSのクラウド基盤「Eucalyptus」を使う（1）--全体構成を理解する - builder by ZDNet Japan
前回まで駆け足で、これから我々が作ろうとするクラウドの、いわば「お手本」であるAmazon EC2自体が持つ機能について見てきました。今回からは、いよいよオープンソースのクラウド基盤ソフトウェアである「Eucalyptus」によるEC2互換クラウドの製作に入っていきます。 4月29日 (米国時間) 付けで、クラウド基盤ソフトウェア「Eucalyptus」を用いた製品とサービスを提供する企業「Eucalyptus Systems」のローンチがアナウンスされました（リンク先はPDFファイル）。前後して、EucalyptusをバンドルしたUbuntu Linux 9.04（コード名：Jaunty Jackpole、4月23日）のリリース、Eucalyptusの新バージョン1.5.1のリリース（5月8日）と、Eucalyptusに関わるニュースが相次いで流れました。まさに今が旬のソフトウェアと言え
サンのクラウドは、Amazon EC2とどう違うのか？ － ＠IT
2009/06/02 サン・マイクロシステムズが2009年夏にも提供を開始するクラウドサービス「Sun Cloud」の概要が見えてきた。同社のクラウドサービスはOpenSolarisベースの仮想環境で、Amazon EC2/S3に相当するサービスを提供するものだ。計算リソース（OSやアプリケーションなどのソフトウェア実行環境）を提供する「Sun Cloud Compute Service」とストレージサービスの「Sun Cloud Storage Service」で構成する。 価格などまだ不明な点は多いが、技術情報は徐々に出てきている。例えばストレージサービスに関してはWebDAVやAmazon S3互換のRESTful APIでアクセスできることが明らかにされているほか、APIのドキュメントやJavaで書かれた管理コンソール、PythonやRuby向けのライブラリが公開されている。スクリ
データベースコンサルタントのノウハウちょい見せ ACIDを超える概念か？ 新しいトランザクションの考え方 - BASE
各種インフラ技術(OS、ストレージ、ネットワーク)やオラクル製品といった話題を取り上げます。著者は小田圭二、「門外不出のOracle現場ワザ」、「絵で見てわかるOracleの仕組み」、「絵で見てわかるOS/ストレージ/ネットワーク」などの著作もあります DB使いであれば、ACID(Atomicity、Consistency、Isolation、Durability)は当たり前の考えかと思います。実は、DBMSならACIDが当たり前というのは、思いこみと言っても良いのです。少なくとも、ACID以外の考え方が存在するのは事実です。 今回は、そんな考え方である、BASE(Basically Available、Soft state、Eventually consistent)を紹介します。クラウドなどの世界で徐々に広がりつつある、トランザクションの考え方です。 この記事は、「BASE: An A
クラウド時代の到来で、コンピュータサイエンスは「終わった」
クラウド時代の到来で、コンピュータサイエンスは「終わった」 国立情報学研究所 アーキテクチャ科学研究系 教授 佐藤 一郎氏 「コンピュータサイエンスは終わった」。こう広言するコンピュータサイエンスの研究者がいる。国立情報学研究所（NII）の佐藤一郎教授だ。目ぼしい進展が見られない上、有望視されるクラウドコンピューティングの研究はクラウドを「持てる者」でないと困難だからだ。一方で、コンピュータサイエンスの研究成果は様々な分野に応用できると佐藤氏は主張する。（聞き手は、中田 敦＝日経コンピュータ） 2008年後半から「コンピュータサイエンスは終わった」と明言しているそうですね。 コンピュータサイエンスが危機に陥っている証拠には事欠きません。バイオサイエンス（生命科学）と比べると、その差は歴然としています。バイオ分野では新しい実験装置や知見、医療技術、薬品が次々と登場しています。ところがコンピュ
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
マッキンゼーのクラウドコンピューティングの定義 - Thoughts and Notes from CA
Nich Carrのエントリ経由で知ったのだが、マッキンゼーが"Clearing the air on cloud computing"というレポートを発行しており、そこに諸説あるクラウドコンピューティングの定義がのっており、流石にきれいにまとまっているので紹介したい。 1.Hardware management is highly abstracted from the buyer 2.Buyers incur infrastructure costs as variable OPEX 3.Infrastructure capacity is highly elastic (up or down) 1. 買い手にとって、ハードウェア管理が高度に抽象化されている 2. 買い手はインフラコストを変動的な事業運営費として負担する 3. インフラのキャパシティは高度に伸縮性がある（上がる方にも下
「オープン・クラウド宣言」（"Open Cloud Manifesto"）は漠然としていて時期尚早 --- The Economist 誌の冷静な見方 - Muranaga's View
半年前の「企業 IT 特集」を読んで以来、The Economist 誌のクラウド・コンピューティングに関する記事には欠かさず目を通してきた。4月2日の「クラウド・プロバイダをめぐる動き」というエントリは、"Gathering clouds" という記事に触発されて書いたもので、3月末に発表されたばかりの "Open Cloud Manifesto"（「オープン・クラウド宣言」）に関する僕の見解を述べた。 最新号（April 4th, 2009）の "Clash of the clouds" という短い記事には、The Economist らしい、クラウド業界から距離を置いた冷静な見方が表われている。 クラウド・コンピューティングは the next big thing かもしれないが、その政治的な動きはメイン・フレームと同じくらい古臭い。 今回、業界にちょっとした論争を生んだのは "Op
グーグル、自社設計のサーバを初公開--データセンターに見る効率化へのこだわり - CNET Japan
カリフォルニア州マウンテンビュー発--Googleは、自社のコンピューティングの運用については多くを語らない。しかしGoogleは米国時間4月1日、当地で行われた、注目度が高まっているデータセンターの効率性に関するカンファレンスで、そのインターネットの力の中枢にあるハードウェアを初めて公開した。 ほとんどの企業は、DellやHewlett-Packard（HP）、IBM、Sun Microsystemsのような企業からサーバを購入している。しかしGoogleは、何十万台ものサーバを保有していて、そのサーバを稼働させることが自社の中心的な専門技術の一部だと考えており、自社独自のサーバを設計および構築している。Googleのサーバの多くを設計したBen Jai氏は、高度な技術を持つ、非常に熱心な聴衆の目の前で、現在のGoogleサーバを公開した。 Googleサーバで非常に驚くのは、サーバ1台
Googleのサーバは12Vバッテリを搭載 | スラド IT
Googleが自社で開発したサーバ・マシンを利用していることはご存じの方も多いと思うが、4月1日に行われたデータセンターの効率性に関するカンファレンスで、Googleのサーバ設計者Ben Jai氏がそのハードウェアを公にしたそうだ（本家/.ストーリーより）。 CNET.comの元記事にはその写真も掲載されているが、Googleのサーバには主電力源にトラブルが発生した事態に備え、12Vのバッテリが搭載されている。Jai氏によると、個々にバッテリを搭載する方が「中央集中型で大型UPSを導入するよりもずっと安価だ」とのこと。また、エネルギー効率の面から見ても、大型UPSが92～95％程度の効率となるのに対し、バッテリ搭載サーバの場合は実運用で99.9％以上の効率が達成できると述べている。 Googleはこのビルトイン・バッテリ設計に関する特許を取得しているが「ベンダーへのライセンス供与についても
いま分散システムが面白い理由 - Blog by Sadayuki Furuhashi
最近 クラウド という単語が流行していますが、「大規模な計算資源を低コストで提供してくれるトコロがあるらしいので、自前で持っていた計算資源を委託しちゃえば運用する手間も知識も要らないし、そもそもサーバーを買う費用を省けちゃうから嬉しい」という発想に基づいているらしく、しかし技術的には 大規模な計算資源を低コストで構築する技術 がポイントでしょう。 大規模な計算資源をどうやって安く構築するか。 従来は、システムの能力を高めるためには、高性能・高機能（それゆえ高価な）マシンを導入するというスケールアップの手法が採られていたのだが、この手法では10倍に性能を上げるために、たとえば30倍のコストがかかるかもしれない。スケールアップと比べてスケールアウトでは、導入したコストにほぼ比例して、パフォーマンスの向上が見込める。 『UNIX magazine 2009年4月号』 p.31 *1 何百万円もす
Amazon EC2のWindows Serverを日本語化する方法 - 元RX-7乗りの適当な日々
以前紹介した通り、Amazon EC2では、Windows Serverを瞬時に低コストで動かすことが可能です。 わずか5分でWindows Serverを準備する(動かす)方法 (Windows Server on Amazon EC2) - 元RX-7乗りの適当な日々 しかし、Amazonから提供されているWindows ServerのOSイメージをそのまま稼動させると、↑のエントリで紹介した通り、OSの言語設定は英語となっていて、そのままでは日本語表示も日本語を扱うこともできません。 このままでは、何をするにしても日本人にとっては不便ですし、テスト環境などで使うにしても、アプリケーションで日本語を扱いたいときもあるでしょう。 というわけで、今回は、この"Windows Server on Amazon EC2"を日本語化する方法を紹介します。 前提 既に、Amazon EC2にてWi
Amazon Elastic MapReduceを使ってみた - moratorium
Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソフト開発の常識が変わる！「何百人が一斉にテスト、バグがなければタダ」という凄いサービス - japan.internet.com Webテクノロジー
scale out の技術 〜 consistent hashing 編 (cloud 研究会, December 19, 2008)