Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan 2016」において、現在運用中のビッグデータ処理基盤の規模、そして同社が抱えている課題と、それをどう解決していくのかを基調講演の中で示しました。 同社が示した解決方法は、Hadoopなどのビッグデータ処理基盤を使い倒す側から、作る側へ向かうという大胆なものです。同社の貢献はオープンソースとなり、今後さらに多くの課題解決に役立つことになりそうです。 同社データインフラ本部 遠藤禎士（えんどうただし）氏
デブサミ2010の資料"クラウドサービスAmazon EC2を活用した「SKIPaaS」構築事例"を公開します＋α - 元RX-7乗りの適当な日々
昨日まで目黒雅叙園で開催されていた「Developers Summit 2010」。TwitterのTLを眺めていても、雪降る東京の寒い街中で、本当に熱い熱気に包まれていましたよね！ # http://labo.artry.net/devsumeet/tweets そのクラウド構築事例のセッションにて、Amazon EC2での構築・運用事例として発表させていただいた資料を公開します。 # 使っているフォントが悪いのか、崩れている部分が多く、少々見辛くて恐縮ですが。 クラウドサービスAmazon EC2を活用した「SKIPaaS」構築事例 from Yuuki Namikawa 正直、前日までどういう内容の話にしようか、かなり迷っていました。来場いただく方々がどういった内容を求めているのか、期待されているのか、を掴みきれずに。 しかし、いただいている時間が、テクニカルセッションであることと、
丸レクで語った。 - 未来のいつか/hyoshiokの日記
丸山先生レクチャーシリーズ2010(以下、丸レクと記す)、第3回2010年4月22日(木)楽天株式会社(http://www.itmedia.co.jp/enterprise/special/dev_marulec/2008.html )でお話をした。題して「楽天インターネットスケーラブルコンピューティング」 丸山先生は並行、並列、分散などを大変わかりやすく説明されていた。首藤さんは、Key-Value-Storeについて基礎知識を解説された。藤本さんはGREEで開発中のFlareなどのお話、古橋さんはお馴染みのkumofsとそのデモ。どれも技術的に素晴らしい発表であった。 でもって、わたしの番なのであるが、特に技術的に目新しいことではなく、楽天のWebサービスのインフラの歴史とか、どんな感じで日々のトラフィックをさばきながら発展していったかという実に地味なお話であった。 楽天インターネッ
Kazuho@Cybozu Labs: 既製品の管理ツールを使わないことでウェブサービスの TCO を下げる話について hbstudy#8 で話してきた件
昨日、hbstudy#8 で話をする機会をいただくことができたので、Nagios や Amanda といった既製品の管理ツールやバックアップツールを使わずに内製したことで「パストラック」の運用コストを下げた、という話をしてきました。 もちろん、「既製品を使わない」というのもひとつの手段にすぎませんから、それを無闇にお勧めするつもりはありません。ただ、小回りの効くツールを組み合わせる手法にも十分な競争力があるという点、あるいはその事例として参考になれば幸いです。 スライドはこちら。hbstudy 運営の皆様、話を聞いてくださった皆様、ありがとうございました。
suicaは実はたまに落ちている - 紅茶屋くいっぱのあれこれ日記
suicaのサーバーはみんなの知らないところで、実はたまに落ちているそうだ。 だがシステムが止まることはない、計算上センターは3日ぐらいは止まっていても大丈夫だそうだ。 だからサーバーが落ちたなどとニュース沙汰になることは殆ど無い。 suica開発陣頭指揮をされていたかたが、その実績をまとめてと頼まれ、博士論文にしたそうだ。 suicaの実例を述べるだけだと技術論文になってしまうので、一般化して論文を書きあげたそうなのだが、審査に携わった専門家の人達はそんなものが動くわけないだろうといったらしい。しかし現実問題としてsuicaは動いてしまっている。 本人いわく、だってそれで動いちゃってるんだもん。だそうだ。 実装は時として奇妙に見えるかもしれない。 フィールドには神がいる。 …その意や、なんで落ちても大丈夫かなどはまた後ほど。 スイカのセミナー 昨日はスイカのセミナーだった。 JR東でスイ
TechCrunch
The most popular apps suck us into the technological equivalent of couch lock, but it’s easy to imagine how things might have gone differently. Rather than idly scrolling and mindlessly issuing like Chinese electric vehicle startup WM Motor has filed for bankruptcy, an example of yet another once-promising EV upstart that has been pushed to insolvency as bigger players gain market share and Chine
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
AWS Solutions Library | Amazon Web Services | AWS
AWS Solutions Library Vetted solutions and guidance for business and technical use cases Organizations today are in search of vetted solutions and architectural guidance to rapidly solve business challenges. Whether customers prefer off-the-shelf deployments, or customizable architectures, the AWS Solutions Library carries solutions built by AWS and AWS Partners for a broad range of industry and t
実録：クラウド・コンピューティング特集記事ができるまで
筆者は現在，71日間に及ぶ米国取材の成果を「クラウド・コンピューティング特集」としてITproに掲載すべく，悪戦苦闘している。本来であればこの「記者の眼」は，その特集記事の紹介に当てるつもりだった。ところが無情にも特集が完成する前に締め切りが来た。そこで今回は，記者が米国で何を見て，これから何を書こうとしているのか，実録風に紹介させて頂きたい。 2008年3月：出張準備 筆者は今回，4月6日から6月15日まで，米国サンフランシスコを中心に，米国IT事情に関する現地取材を敢行した。長期出張のきっかけとなったのは，2008年1月末に起きた，米Microsoftによる米Yahoo!への買収提案だった。 「MicrosoftがYahoo!を買収しようとしている」という噂は前々からあったが，なぜMicrosoftがこれほど必死になっているのか，われわれはその真意を掴みかねていた。その理由を肌で感じる
0×0018 till I die » はてなnaoyaさん「はてなを支えるバックエンドシステム」
403 Forbidden nginx
【レポート】Facebookのデータセンターに見るMySQL活用事例 - MySQLカンファレンス (1) 熱気に満ちた4日間 - MySQL Conference and Expo | エンタープライズ | マイコミジャーナル
4月14日から17日までの4日間、米カリフォルニア州サンタクララにおいて、MySQL Conference and Expo(以下、MySQLカンファレンス)が開催された。MySQL関連の最大のイベントである。セッションは有料で、日本円で10万円を超える金額にもかかわらず、参加登録者数は2,000人近くに達し※、日本からも多くのユーザーが参加していた。 ※ セッション参加のできない、展示会場のみの申し込み者も含む。 今回のMySQLカンファレンスでは、複数データセンターにまたがってMySQLを活用するような大規模事例、ペタバイト級の規模に挑戦する事例、MySQL Clusterの事例、Heartbeat + DRBDによる高可用性の事例など、さまざまな事例が発表された。とくにFacebookは、1万台のWebサーバ、800台のキャッシュサーバ(memcached)、そして1,800台のMy
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Global Netflix Platform
PHPで大規模ブラウザゲームを開発してわかったこと
AWS Case Study: Amazon.com Oracle DB Backup to Amazon S3
AWS Customer Presentation - HotPads