優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
ネットワークプログラムのI/O戦略 - sdyuki-devel
図解求む。 以下「プロトコル処理」と「メッセージ処理」を分けて扱っているが、この差が顕著に出るのは全文検索エンジンや非同期ジョブサーバーなど、小さなメッセージで重い処理をするタイプ。ストリーム指向のプロトコルの場合は「プロトコル処理」を「ストリーム処理」に置き換えるといいかもしれない。 シングルスレッド･イベント駆動 コネクションN：スレッド１。epoll/kqueue/select を１つ使ってイベントループを作る。 マルチコアCPUでスケールしないので、サーバーでは今時このモデルは流行らない。 クライアントで非同期なメッセージングをやりたい場合はこのモデルを使える： サーバーにメッセージを送信 イベントハンドラを登録；このときイベントハンドラのポインタを取っておく イベントハンドラ->フラグ がONになるまでイベントループを回す イベントハンドラ->結果 を返す １コネクション１スレッ
ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。 本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。 全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。 実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
いま分散システムが面白い理由 - Blog by Sadayuki Furuhashi
最近 クラウド という単語が流行していますが、「大規模な計算資源を低コストで提供してくれるトコロがあるらしいので、自前で持っていた計算資源を委託しちゃえば運用する手間も知識も要らないし、そもそもサーバーを買う費用を省けちゃうから嬉しい」という発想に基づいているらしく、しかし技術的には 大規模な計算資源を低コストで構築する技術 がポイントでしょう。 大規模な計算資源をどうやって安く構築するか。 従来は、システムの能力を高めるためには、高性能・高機能（それゆえ高価な）マシンを導入するというスケールアップの手法が採られていたのだが、この手法では10倍に性能を上げるために、たとえば30倍のコストがかかるかもしれない。スケールアップと比べてスケールアウトでは、導入したコストにほぼ比例して、パフォーマンスの向上が見込める。 『UNIX magazine 2009年4月号』 p.31 *1 何百万円もす
“なんちゃってブロードバンド”ではない──WiMAX、月額4480円でスタート KDDI系のUQ
KDDIや米Intel Capitalなど6社が出資するUQコミュニケーションズは2月3日、モバイルWiMAXサービス「UQ WiMAX」の無償トライアルを2月26日に始めると発表した。有料の本サービスは7月1日にスタート。月額4480円で使い放題になる。 UQ WiMAXは、国内で唯一、全国をカバーする予定のWiMAXサービス。下り最大40Mbps、上り最大10Mbpsで通信でき、発表会を行った帝国ホテル（東京都千代田区）では、下り約16Mbps、上り約3.9Mbpsで通信していた。 まずは26日から、東京23区、神奈川県横浜市、川崎市で試験サービスを開始。5000人のモニター（20歳以上で、サービスエリア内在住が条件）に対してデータ通信カードを無償貸与し、6月30日まで無料で利用してもらう。モニター募集は2月3日～15日まで、同社サイトで行う。 7月1日に有料の本サービスに移行。エリア
Core i7とPhenomで作る最強の開発環境
記者の仕事の基本は人に会って話を聞くことだ。しかし，私が守備範囲と思っているマイクロソフトの「Windows」やWindows向け開発ツール「Visual Basic」（現在では「Visual Studio」の一部）の記事執筆は，人に話を聞くことだけでは成り立たなくなってきた。 バックナンバーを開いてみたら，日経コンピュータの1991年6月17日号では「386対応で新境地開くMS-WindowsとOS/2」という記事でWindows 3.0を動かして撮影した画面写真を掲載している。同12月30日号では「充実してきたGUIアプリ開発ツール」という記事でVisual Basic 1.0を動かして撮影した画面写真を掲載している。どちらもNECのパソコン「PC-9801ES」で動かしたものである。当時でも，書きたいことにぴったり合った画面写真を用意するには，ソフトウエアを自分の机の上で動かすのが一
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時速500kmでハンドオーバー、高速鉄道向け無線LANの新規格を