Hadoopは借りて使え - masayang's diary
NTTデータが公開したHadoop資料が話題になっている。ざっと読む限り、コード事例もあって参考になることは確か。読まない手はないだろう。 だけど、Hadoop環境を自前で構築することには私はあまり賛同できない。技術屋が勉強するため、というのなら話は別だけど、事業でHadoopを使うのならクラウド上のを借りることをお勧めする。 例えば1000台のクラスタを構築して、デイリーバッチ処理が5分で終わるようになった！ と喜ぶのも良いだろう。でも、残りの23時間55分はそのクラスタどうするのか？寝かせておくのであればROI評価は非常に低いものになるだろう。 かといってケチって5台のクラスタにしたらほぼ1日中稼動したのでROIは高くなりましたが処理時間短縮には至りませんでした、なんていうのも馬鹿げている。 じゃ、どこに最適点があるのか？ 答は「自前で持たず、必要なときに必要な台数のクラスタを借りる」
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
マイクロソフト萩原正義氏MIJS講演「スケールアウト設計における問題点の考察と分析手法の提案」 : 小野和俊のブログ
昨年末にMIJSのコンソーシアム内での交流会があり、前回のはてな伊藤さん講演に続き、理事会の方から講演者の選定とコンタクトを依頼されたので、マイクロソフトの萩原さんに「クラウドの時代のデータモデリング」の講演をお願いした。 今回萩原さんに講演をお願いしたのは、以前参加させていただいたマイクロソフト系のイベントでの萩原さんの講演が大変興味深い内容だったからだ。 以下、今回の講演を聞きながら私がメモした内容である。 「スケールアウト設計における問題点の考察と分析手法の提案」 現在マイクロソフトでクラウドの技術のうち、開発の現場に対して、どういうやり方をしなければいけないかを提案する仕事をしている。 今日お話しする内容は、インターネットや書籍で紹介されているものよりも、深いところを話していきたい。とはいえ1時間という短い時間なので、ポイントを絞って話をしていきたい。マイクロソフトはWindows
クラウドは本当にコストダウンになるか？ - 組織を進化に導くIT羅針盤
今年度のIT予算はどこの会社も凍結。そんな中注目を浴びているのがクラウドによるコストダウンだ。GoogleAppsやSalesforceの大企業への導入が進んでいるが、本当にクラウドはコストダウンにつながるのだろうか？ ■コストはどこで発生してる？ ある大手製造業の例だ。その会社は古くからNotesを使用しており運用は外部ベンダーに委託、年間運用費は3億に上っていた。新規予算ゼロの環境の中でこのNotes運用費の削減がテーマとなっていた。 そこで検討されたのがGoogleAppsだ。Google Appsは１ユーザー年間6千円なので全社員でも6千万円。2.4憶円のコストダウンとなる算段であった。 しかし、実際にはGoogle Appsは導入されなかった。 というのも、3億のNotes運用費を詳細に調べていくと、ネットワーク、ハードウェアの償却費・運用費やサーバーの運用費の比率は極めて小さく
そろそろモバツイがEC2に移転した話でも書くとするか。
モバツイ以外にも実運用で回してるEC2な人たちは結構いると思うのですが、参考までに。 モバツイッターがAmazon EC2の人柱をやってくれている モバツイッターがAmazonEC2に移行しようかなとのこと。 さっそく性能問題にぶち当たったらしいし、ナイス人柱。 前にあるイベントで、EC2を活用されているHeartRailsの方にモバツイの構成をEC2に移転したらどうなるか？みたいな話をお伺いしたら、すぐ8万円/月ぐらいに構成になってしまう、と言われたのですが、大体、どんぴしゃな感じでした。 （追記：なお個人でWebサービスをスモールスタートする場合は、サーバの運用知識がそこそこある前提で、まずは自宅サーバから運用すると良いです。月間600万PVぐらいまでなら、HP ML115G5 + Phenomでこなせるハズなので。その辺についてはまたいずれ書きます。） ■EC2とは？ 既にご存じの方
奥さんにささげる - ひがやすを技術ブログ
奥さんっていっても妻のほうじゃなくて、http://developer.cybozu.co.jp/kazuho/のほうね。 昨日のTokyo Cloud Developerで、kazuhoとBigtableの話をしてたんだけど、ちょうど、松尾さんからいい資料があるといわれてみてみたらとてもすばらしかった。松尾さん、ありがとうー。 http://sites.google.com/site/io/under-the-covers-of-the-google-app-engine-datastore もう既に見ているかもしれないけど、一応ご報告。 Google App Engine(Bigtable)の内部のデータのもちかたが詳しく説明されています。 これをみずに、Bigtableは理解できない。 奥さんじゃない人も、App Engineに興味のある方は見るといいよ。
クラウドにはぐっとこないけど、BASEやCAP定理は面白い - 未来のいつか/hyoshiokの日記
40代、50代の人たちはなぜ表現しないのかhttp://d.hatena.ne.jp/hyoshiok/20090517#p1 には多数のアクセスをいただいた。日記を書いたおかげで多くの人から様々なコメントやトラックバックをいただいた。これもインターネットの可能性、ポジティブな側面だ。ありがたいことである。御礼を申し上げたい。 反応は大きくわけて二つ。A：40代、50代は表現していいる。お前が知らないだけだ。B:40代、50代は表現していない。 Aのパターンは、嬉しいサプライズである。いろいろな人から、こーゆー面白いブログがあるよとか、こーゆー表現があるよという情報を頂いた。トラックバックもいろいろ拝見した。コメント欄に自分は40代、50代と多くの人が名乗ってくれたのは本当に嬉しかった。 IT産業にいるとどもせっかちでいけない。書いているおじさんもいる*1。漫画で教えてもらった。書いている
クラウドはパラダイムシフト確定だから、四の五のいわずにGAEとKey-Value Storageをやっとけ - レベルエンター山本大のブログ
Google App Engine(以下GAE)がJavaに対応してから、その衝撃的サービス内容から 「これはパラダイムシフトであり、破壊的イノベーションなのではないか」と論議されるようになった。 クラウドはとっくにバズワードではない。そして、 クラウド型のアプリケーション提供方式は、間違いなくパラダイムシフトだと断言する。 ただし、既存のものに急に取って代わるという破壊的イノベーションではないと考えている。 RDBなどは必ず生き残り役割分担の選択肢となる。いままでのインハウス型プロジェクトもなくならない。 しかし、１〜２年で開始するプロジェクトは、もう.NET or Javaといってプラットフォームを選択するまえに、アプリケーション提供形式としてインハウス or クラウドを選ぶ時代になるだろう。 管理コスト面、初期コスト面ともに優れたクラウドという選択肢が提供できない提案・企画は駆逐され
OPC Diary: “The no spin details on the new SDS features”こいつは波乱の幕開けだ
« 今年のチューリング賞はバーバラ･リスコフさんに | メイン | 新しいSQL Data Servicesに対するFAQ その１ » 2009年03月11日 “The no spin details on the new SDS features”こいつは波乱の幕開けだ 今までクラウドコンピューティングのデータストアはKVSが本命でリレーショナルデータベースなんてスケールアウトできなくて、パフォーマンスも出ないからステステとさんざん言われ続けてきたわけですが。。。 SQL Data Services Team Blog : The no spin details on the new SDS features この記事ではKVS何それ? クラウドだろうとなんだろうと、うちらあくまでもリレーショナルデータベース屋ですから、お客さんに提供するのはリレーショナルデータベースすよ。
「プライベート」クラウドコンピューティングが人気上昇中
「プライベート」クラウドコンピューティングは、ファイアウォールの内側に置かれた小規模なクラウド型ITシステムを通じてサービスを提供するものだ。メインストリームバージョンと異なるのは、内輪のネットワークで完結するという点だ。 まだ幼年期にありながらもミッドマーケットのエンタープライズIT分野でメジャープレーヤーとして着実に成長しつつあるクラウドコンピューティング（ユーティリティコンピューティング）は既に、カスタム設計の要素が色濃い構成へと枝分かれを始めている。 クラウドコンピューティングは、1カ所のデータセンターからグリッドを通じて、数千あるいは数百万のユーザーにサブスクリプションベースでコンピューティングパワー、データストレージ、アプリケーションなどのサービスを提供する方式だ。一般的なタイプのクラウド――例えば、Amazon EC2、Google Apps、Salesforce.comなど
Stax Networks - Home
Java applications in the cloud The fastest way for developers to build, manage and scale Java applications on EC2. Step 1: Create an Application Jumpstart application development in minutes using Stax application templates. Servlet MVC frameworks - Apache Struts and Wicket Rich Internet applications - Adobe Flex and Google Web Toolkit Web scripting - JSP, Jython, JRuby (on Rails) and Adobe C
Google App EngineのJava版「Stax」を触ってみました
Amazon EC2上で提供されるJava版PaaSサービス「Stax」をちょっと触ってみました。今のところはβサービスで、まだ実装されていない機能もあったりしますが無料で試すことができます。 「Google App EngineのJava版」としてニュース記事等でも紹介されています。 Java対応のGoogle App Engineとも言うべき「Stax Networks」ローンチ http://jp.techcrunch.com/archives/20081216stax-networks-launches-google-app-engine-for-java/ 用意されている環境 Apache Tomcat/6.0.16MySQL/5.0.51 要するにServlet2.5/JSP2.1環境を使えるってことですね。JVMはJavaSE5相当のようです。 GoogleもSalesfor
IBMとAmazon提携にみるIBMのCloud Computing時代の戦略 - Thoughts and Notes from CA
久しぶりにNich Carrのエントリーを紹介したい。"Another little IBM deal"というエントリーでIBMとAmazonの提携について考察しており中々面白い。ポイントをかいつまんで書くと、 IBM DB2、Informix Dynamic Server、WebSphere Portal、Lotus Web Content ManagementのようなソフトをIBMはAmazonのEC2を通してUtility Computing形式で提供することにした 既にこれらのソフトウェアライセンスの保持しているユーザもEC2を利用することができる 案件としてはそれ程大きなものではないが、これはPCのOS開発をマイクロソフトに委託して、PC時代の覇権を取り損ねたのと同様に、AmazonのCloud Computing時代の覇権確立の試金石となるのではないか という感じ。 これは視点
NECがクラウド上に基幹システム再構築へ
NECは基幹システムを全面再構築する。独自のクラウド基盤を構築、その上で動くアプリケーションをグループ各社が利用する。並行して業務プロセスの標準化にも取り組む。システム関連のTCO（総コスト）と間接部門の費用をそれぞれ2割以上削減するとともに、グループ全体の事業状況を的確に把握できる体制を築く。 総投資額は400億円を予定する。同社は2009年3月期、2900億円の最終赤字を計上する見通し。攻めのIT投資で経営の効率化を急ぐ。「経済危機を勝ち抜ける筋肉質の体制を作る」(相澤正俊副社長）。自社システムをクラウド時代のショーケースにする狙いもある。 2009年3月2日付で再構築を本格的に始めたと発表した。販売、経理、資材（購買）の基幹3システムを作り直す。2010年4月以降、順次稼働させる。
キー・バリュー型データストア - Float on the flow
キー・バリュー型データストア（Key-Value Stores:KVS）というのが、クラウドコンピューティング、分散コンピューティングとの親和性から注目されている。 「キー・バリュー型データストア」開発者が大集合した夜：ITpro http://itpro.nikkeibp.co.jp/article/OPINION/20090226/325527/ しかし、上記記事のブクマ（http://b.hatena.ne.jp/shozzy/20090227#bookmark-12305654）でもコメントしたように、自分にはどうもわからない部分がある。特に「データストアがキー・バリュー型」というポイントが。 分散化、クラウド化という文脈では必須になってくることはわかるんだけど。使い勝手というか開発効率的にどうなの？みたいな。 以下、自分の現時点での理解 キー・バリュー型データストアとは、Java
グーグルがころんでも、日本のITベンダーは笑っていられない
グーグルがGmailでころんだ。しかも続けて二度も。クラウド・コンピューティングの勃興を苦々しく思っている日本のITベンダーの中には、「ほら、見たことか」とほくそ笑んでいる人もいるだろう。だが、したり顔をしているだけではダメだ。たった1社が引き起こす障害が世界中に迷惑を撒き散らすのは確かに問題だが、ビジネスの話としては全くの別問題であるからだ。 今回のトラブルでは、Gmailが2時間半にわたって停止した。企業向けの有償サービスGoogle Apps Premier Editionも利用不能に陥った。クラウドとしての「規模の経済」を追求しているグーグルは、無償版のGmailと企業向けの有償版で同一の基盤を使っているから、当然そうなる。まさにクラウドの最大の弱点が露呈した形だ。 そう言えば、1カ月前に発生した前回のトラブルでは、検索サービスのトラブルに巻き込まれてGmailにも障害が発生した。
OPC Diary: Key-Value Store(s)という流れ
« CanonはCAPTプリンタの64bit版ドライバーを出せ!! | メイン 2009年02月27日 Key-Value Store(s)という流れ はじめは大規模なWebサービスを提供する現場の工夫に始まった分散キャッシュ技術、これが最近ではキャッシュのみならずデータのレプリケーション、永続化も可能となりKey-Value Store(KVS)と言われるようになった。 実質的にOracleやIBMのくそ高いインメモリデータベースにかなり近づいてきているが、それらがメモリ上にRDBMSを構築する物であるのに対し、KVSはキー値とデータというもっと単純なデータ構造を持つのが大きな違いだ。 スケールアウトによる負荷分散を前提とする大規模なWebサービスやユーティリティコンピューティングにとってRDBMSを前提とするOLTPの考え方はそれがボトルネックになり、パフォーマンスと冗長性に
クラウドの使いどころ - Float on the flow
前回は「クラウドなんて使えなくね？」という話を書いたわけですが、 今回は「使いようによってはクラウドもいいよね」という話。 http://memo7.sblo.jp/article/25872133.html ※こちらのエントリからインスパイア。 つまるところ、計算量が膨大になる場合は、クラウドの無尽蔵で 並列な計算パワーが役に立つよ、と。 この意見は一理ある。というか、これこそクラウドの使い方ですよね。 時折膨大な計算量が必要になることがあって、それをオンデマンドで 使いたい、と。そうなると、従量制のクラウドコンピューティングが よいよねという話。 この文脈だと、MapReduceだの、そのオープンソース実装のHadoopだのって 話も意味が明確になる。並列処理用に最適化されたアーキテクチャってことで。 （このあたりはもっと勉強が必要そう） ◇ 一部のベンダーが喧伝してるような「エンター
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
http://chikura.fprog.com/index.php?UID=1240585853