Amazonプライムデーの裏でAWS大奮闘 EBSは15兆件のリクエスト処理 EC2インスタンスは数千万
米Amazon.comが7月10日から11日（現地時間）に開催した会員限定セール「プライムデー」。販売した商品の総数は3億7500万点を超えた。大量の注文をさばくに当たっては米Amazon Web Servicesのクラウドサービスを活用。8月2日には、AWSの各種サービスをどれだけ使ったかのデータも公開した。 例えば、データをブロックという単位で分けて管理するストレージ「Amazon Elastic Block Store」では、1日当たり15兆3500億件のリクエストと、764PB（ペタバイト）のデータ転送があった。仮想サーバ「Amazon EC2」では2022年開催時の2.7倍に当たる、数千万のインスタンスを活用したという。
大規模オンプレミスなヤフーのサーバーインフラの裏側 〜 サーバー調達や運用の流れを紹介します
OEM系→ODM系にシフトした背景ですが、1つは 価格競争力 です。 インフラにおいてプライスは重要な指標です。 また昔と今でヤフーのサーバーの買い方に違いがある事もポイントになっています。 昔のヤフーは、いろいろな部門が、いろいろな構成のサーバーを、いろいろなタイミングで購入していました。 この結果、納期面で有利なOEMを第一選択肢としていました。 またいろいろな構成のサーバーが入る事を考慮した結果、自営保守ではカバーしきれない範囲も多く、ベンダーが提供するサポートに依存している部分もありました。 しかし最近では 自社クラウド環境の普及により、決まった部門決まった構成決まったタイミングで購入するように になってきたため、 納期に関して余裕を持ったスケジューリングができるようになりました。 またクラウド環境で利用できるサーバーはかなりハイスペックなため、価格の数％の違いも大きなビジネスイン
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
GoogleとNetflix、カナリアリリース分析ツール「Kayenta」オープンソースで公開。新たにデプロイしたリリースに問題がないかを自動分析
GoogleとNetflix、カナリアリリース分析ツール「Kayenta」オープンソースで公開。新たにデプロイしたリリースに問題がないかを自動分析 GoogleとNetflixは、共同開発したカナリアリリース分析ツールの「Kayenta」をオープンソースで公開した。新規リリースを本番環境に対して小規模にデプロイし、問題がないかを検証する作業を自動化。より迅速で確実な継続的デリバリを実現する。 GoogleやNetflixのようにWebサービスを提供している企業では、そのWebサービスに次々と改良が加えられ、1日に何度も新しいリリースがデプロイされています。 しかし新しいリリースのデプロイはいきなり大規模に行われるわけではありません。リリースされるコードに対しては継続的デリバリのパイプラインの中で一通りの自動テストが行われ、ある程度の品質が保証されているはずです。しかし、それでも新しいリリー
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
業務でのオンラインストレージ利用で重視されるのは「価格」 - 有料が6割超
スターティアはこのほど、「業務におけるオンラインストレージの利用状況」に関するアンケート調査の結果を発表した。同調査はオンラインストレージの利用者338人を対象として、2013年7月26日～7月31日に行われた。 発表によると、全体の48.1%の人が業務で個人向けサービスを利用していると回答しており、個人向けサービスと法人向けサービスの業務利用はほぼ半々という結果になっている。 個人向けサービスの利用者のうち最も多くの人が使っているのは「Dropbox」で、以下「Google Drive」「Yahoo!ボックス」「Microsoft Skydrive」と続く。過半数の人は「Dropbox」もしくは「Google Drive」を利用しており、「Yahoo!ボックス」と「Microsoft Skydrive」の利用者は合計で2割程度となっている。
寿司もITも鮮度が一番！あきんどスシローのAWS活用術 (1/2)
AWS Summit 2013の2日目にあたる6月6日には、回転寿司チェーンを展開するあきんどスシローがIT活用やクラウド導入について披露した。自慢の寿司をふるまいながらの講演は、回転寿司屋の舞台裏がつまびらかにされた笑いの絶えないセッションとなった。 中とろ vs システム 「スシロー」は関西を中心に全国350店舗を展開する回転寿司のチェーン店。年間の来店客数は日本の人口と同じ1億2000万人にのぼり、売上高では1000億円を超えるという。全店舗1皿105円という均一価格で有名だが、えびアボガドを始め、既存の寿司の常識を覆す新しいメニューを出すことでも知られている。最近では、189円の吟味ネタという取り組みも進めている。 今回のAWS Summit 2013では、情報システム部 部長の田中覚氏が「中とろより価値あるITを。あきんどスシローのクラウド活用術」というタイトルで、AWS上に構築
SI屋さんとSIと、直近の課題について。 - 急がば回れ、選ぶなら近道
某セッションでちょっとしゃべったことをつらつらと。SIの現状と近い将来について思うところをまとめておきます。自分自身の立ち位置も確認していくという意味で。 結論的にいうと、SI自体は必要とされていますが、SI屋さんのビジネスモデルは成立しないという状況になるので、旧来の「SI屋さんの方法」ではうまくいきません。なので、別のやり方でSIをどうやっていくか？という議論が必要になりますね、という話です。 まずSI事業は人月稼働で商売をしています。スタート地点はそうではなかったのですが、一旦大きな人数を抱えると、食わせる必要があるため、より大きな仕事を取る羽目になります。要は稼働させる事、それ自体が目的になります。稼働を維持させる事で、収入を確保する事ができ、確保された収入で稼働のための人員を維持できる。そもそもそういう循環をベースに組織の目的が、「結果として」形成されてしまっています。 副作用と
TechCrunch
Induction cooking has the potential to liberate us to rethink the kitchen, but new designs have been slow to arrive.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chromebookのシェアが1%から13%に急増。2021年には24%へ
技術者を襲う3年後の悲劇