いかにしてGoogleは他の企業では成し得ないような驚くべきデータセンターネットワークを作り上げたか | POSTD
Googleは最近、正当に築き上げてきた誇りを抱きつつ、次のような 発表をしました 。 Googleは、先日開催された2015 Open Network Summitで、5世代の社内ネットワーク テクノロジーの詳細を初めて公開しました。初の社内データセンターネットワークである10年前のFirehoseから最新世代のJupiterネットワークに至るまで、Googleは1つのデータセンターネットワークの能力を100倍以上に増強してきました。実際、現在のJupiterファブリックは二分割帯域幅で1ペタビット/秒を超えています。これだけの能力があれば、10万台のサーバがそれぞれ10Gb/秒で情報を交換でき、アメリカ国会図書館所蔵図書のスキャンしたコンテンツ全体を1/10秒未満の時間で読み込むことができるでしょう。 Googleのデータセンターネットワークは、目に見えるGoogleのほとんどの仕事を
前方秘匿性 (forward secrecy) をもつウェブサイトの正しい設定方法
前方秘匿性（forward secrecy）とは、以下のような性質を指します。 公開鍵暗号の秘密鍵のように、比較的長期に渡って使われる鍵が漏えいしたときでも、それまで通信していた暗号文が解読されないという性質 鍵が漏れることも想定せよ――クラウド時代における「楕円曲線暗号」の必然性 - @IT 鍵が攻撃者や諜報機関など第三者の知るところとなった場合でも、それまで通信していた暗号文が解読されないようにしないといけない、という考え方とともに、最近 HTTPS を利用するウェブサイトにおいても導入が求められるようになってきた概念です。 前方秘匿性を満たすウェブサイトの設定方法については、TLSの暗号化方式をECDH_RSAあるいはECDHE_RSAに設定すれば良い、と述べている文献が多いです。 ですが、ほとんどのウェブサーバにおいて、それは誤りです。 なぜか。 通信を暗号化する鍵（セッション鍵）
Etsukata blog: FreakOut DSP 入札サーバの CPU 使用率を 30% 削減する Performance Tuning
はじめに 勤務先の FreakOut 社では RTB で広告枠を買い付ける DSP の開発・運用を行っています。RTB とは、インターネット広告のインプレッションが生じる毎に、広告枠の競争入札を行う仕組みです。 DSP とは、 RTB において、競争入札をする側のシステムになります。広告枠/広告を見ている人 に対し、最適な広告を、最適なタイミングで届ける機能を広告主に提供する仕組みです。 FreakOut DSP は最適な広告探索・入札価格調整のため、非常に多くのデータを参照し、沢山の演算処理を行います。広告を見ている人が過去にアクセスした Web ページの情報や検索ワード、さらに 広告がクリックされる予測確率(過去のログから機械学習で算出) などを参照し、入札価格を決定するのです。そのため、DSP で入札を担当するサーバは CPU がボトルネックになっており、台数も数百台に嵩んでいます。
最近の Rack サーバ事情について - おもしろwebサービス開発日記
先月、heroku の推しサーバが unicorn から puma に変わったという発表がありました。unicorn だとスロークライアントの影響を受けやすいというのが理由なようです。 もう少し詳しく調べてみましょう。 そもそもスロークライアントってなに その名の通り遅い回線のクライアントです。3G環境のモバイル端末などが該当します。 「unicorn だとスロークライアントの影響を受けやすい」とは unicorn はプロセスモデルのサーバであり、blocking I/O モデルを採用しています。つまり、クライアントとの通信中プロセスが専有されるということです。 例えば unicorn がワーカプロセスを3つ立ち上げていて、そこへ通信完了に10分かかるようなスロークライアントが3つ接続されたら…、続くクライアントはスロークライアントの通信が完了するまで実行を待たなければならなくなります。プ
2015年Webサーバアーキテクチャ序論 - ゆううきブログ
2023年03月31日追記：この記事を基に、@sadnessOjisanさんより、コードレベルにより踏み込んだ、かつ、グリーンスレッドベースの新しいWebサーバアーキテクチャも含めて整理された記事 Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io が公開されました。 主に新卒のWebエンジニア向けに、古典的なWebサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介します。 この辺りの話題がWeb界隈で流行っていたのは数年以上前というイメージですが、Webサービスは相変わらずWebサーバの上で動いているので、流行り廃り関係なく学ぶべき内容だと思っています。 また、HTTP/2がいよいよRFC化し、既にh2oやtrusterdなどのHTTP/2のサーバ実装があり、今後Webサーバアーキテクチャを再訪することが増えるような気がしています。 ところが、We
サーバの負荷テストのための、何百万ものHTTPリクエストを発生させる方法 | POSTD
(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ
クックパッドにおけるサーバ監視と運用の工夫 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部の加藤(@EugeneK)です。 今回はWebサービスを運用する上で欠かせない、モニタリングをクックパッドでどうしているかという話をします。 死活監視と性能監視 Webサービスを運用している以上、そのサービスを稼働しているサーバがあり、サーバには故障やトラブルが発生します。 また、どれくらいのパフォーマンスが出ているか、リソースをどのくらい消費しているかなどのトレンドを把握することは、成長するサービスを支えていく上で欠かせません。 故障やトラブルにいち早く気づくための仕組みを死活監視と言います。 また、サーバリソースの時系列での推移を知るために、グラフとしてトレンドを可視化する仕組みを性能監視と言います。 ポーリング監視の限界とZabbixのアクティブ監視 クックパッドでは死活監視にNagios、性能監視にMuninを使用してきましたが、サーバ台数の増加
インフラ系トレンド私的まとめ - @kyanny's blog
社内勉強会でいろいろ教えてもらったのでメモ。トレンドと呼ぶには一、二年遅い。なお自分の考えを整理するために書いているものなので正確さは保証しませんしツッコミも不要です。 前提: 仮想マシンと仮想マシンイメージ VirtualBox とか、 AWS なら AMI とか。ホストマシン上で動作しているものが仮想マシンで、仮想マシンイメージは仮想マシンのスナップショットだったり、それをもとに新しい仮想マシンを作れる雛形だったり、くらいに理解しておけばよい。 Vagrant と Packer 仮想マシンと仮想マシンイメージの技術があるおかげで、作業環境（Mac とか Windows とか）上でプロダクション環境により近い環境を手軽に用意できるようになた。しかし仮想マシンの管理（起動したり、設定を変えたり）は手作業でやる必要があった（VirtualBox なら GUI でぽちぽちやったりとか） Vag
シャンプー評価サイトをHTTPS化した
先ほどアップデートしたシャンプー評価サイト をHTTPS化した。 新しいURLは以下となります。 https://haskamiya.kksg.net/ なぜ HTTPS？ とりあえずサイトにSSLを使うメリット・デメリットを大まかに挙げてみる HTTPSのメリット セキュリティが向上する 暗号化されるので通信の覗き見ができなくなる 信頼性アピール Googleの順位が若干上がる HTTPSのデメリット サイト表示が遅くなる なぜあなたがウェブサイトをHTTPS化するとサイトが遅くなってユーザーが逃げていくのか - 射撃しつつ前転 金がかかる 手間が増える 使えないアドネットワークやアフィリエイトが増える AdSenseの収益が減る 他にも昔のガラケーには鍵長2048bitのSSLに対応していないやつがあるとか色々あるけど、現実的にはこんな感じだと思う。かなりデメリットが多い。 サイトの表
スタートアップにjoinして安心して眠るためにやった5つのこと
あのスタートアップもさくら!?さくらのクラウドでサービスローンチしてみよう（スタートアップのサーバーインフラを考えよう！Vol.2）さくらインターネット株式会社
Puppetを使ったLinuxシステムの設定自動管理 | さくらのナレッジ
多数のサーバーを運用している場合などに面倒なのが、サーバーごとの環境管理だ。そのため注目されているのが、サーバーの環境設定やインストールなどを自動化する設定管理ツールである。今回はその中でも比較的古くから使われている「Puppet」というソフトウェアを紹介する。 あらかじめ用意しておいた設定ファイルに基づいてサーバーのさまざまな設定を自動的に行うソフトウェアを、設定管理ツールと呼ぶ。今回紹介する「Puppet」は、スタンドアロンおよびクライアント/サーバー構成でサーバー設定を集中管理できる設定管理ツールだ。行える設定はユーザー/グループの作成やネットワーク関連の設定、パッケージのインストールなど多岐にわたる。また、「モジュール」と呼ばれる機能拡張のための仕組みも用意されており、目的に応じた「モジュール」をインストールすることで簡単に設定対象を拡張できるという特徴を持つ。モジュールは誰もが開
閏秒を迎えるにあたってLinuxでは何を対策すべきか？ | Act as Professional
2016/12/27 更新Googleなどの大手IT企業がうるう秒対策済のNTPサーバが公開したため、これを利用する内容などを以下にまとめました。 元旦に実施される うるう秒の対策 まとめ2016/07/08 更新2017/1/1に閏秒の実施が決定されました。対応はこの記事のとおりで問題なさそうです。 2015/06/24 情報追加(2015/06/29 更新)下記の対応に関わるntpdの比較的新しいバージョンにSLEWモードで動作していても、うるう秒が挿入されるバグが発見されました。[redhat] これによりntp-4.2.8p3-RC1以降のバージョンでないとSLEWモードで動作していてもうるう秒が挿入されます。RedHatはntp-4.2.6p5-3.el6_6という対応済みのバージョンを提供しています。Ubuntuでは今日現在12.04LTS, 14.04LTSの２バージョンはパ
OpenStackを統合した「Oracle Solaris 11.2」が提供開始
米オラクルはこのほど、 Oracle Solarisの最新版「11.2」の提供を開始した。同製品の最大の特徴はOpenStackを統合している点。「Unified Archive」テンプレートとOpenStackディストリビューションを用いれば、10分間でクラウドを稼働させることが可能。 OpenStackに加え、SDN、クラスタリング、ゼロ・オーバーヘッドを組み合わせることで、大規模なエンタープライズ・クラウド環境向けに設計された統合型のクラウド・プラットフォームとなっている。 同時に公開される「Oracle Solaris Cluster 4.2」は、データセンターやミッション・クリティカルなクラウド配備に置かれた「Oracle Solaris」環境の保護に最適なソリューション。 Solaris Cluster 4.2には、「JD Edwards Enterprise One」向けの新
Nginx error: (13: Permission denied) while connecting to upstream
I am getting this error in my nginx-error.log file: 2014/02/17 03:42:20 [crit] 5455#0: *1 connect() to unix:/tmp/uwsgi.sock failed (13: Permission denied) while connecting to upstream, client: xx.xx.x.xxx, server: localhost, request: "GET /users HTTP/1.1", upstream: "uwsgi://unix:/tmp/uwsgi.sock:", host: "EC2.amazonaws.com" The browser also shows a 502 Bad Gateway Error. The output of a curl is th
s3Syncを使ってさくらVPSからAmazonS3にデータをバックアップ | Strikes back
さくらのVPS借りたのは良いが、サーバのバックアップどうしようと悩んでる時に AWSの無料枠あるのを思い出し、慣れる意味を兼ねてバックアップを取ることにしました。 今までクラウドサービスとは無縁だった底辺エンジニアだったのでまずは概要から。 でAWSって？ AWS公式ページから引用。 2006年、アマゾン ウェブ サービス（AWS）は、ウェブサービスという形態で企業を対象に IT インフラのサービス提供を開始しました。それは現在、一般的にクラウドコンピューティングとして知られています。 クラウドコンピューティングの主なメリットの1つは、先行投資資本となるインフラコストを、お客様のビジネス拡大にあわせた低額の変動費に移行できることです。クラウドを使用することで、企業はもはや数週間・数ヵ月も前から、サーバーや他の IT インフラを計画・調達する必要がなくなります。クラウドなら、即座に何百・何
Debian Squeeze環境のKVMでPCIパススルーしてみた〜pt2をゲストOSから使いたい！〜 - FreeBSDいちゃらぶ日記
我が家にvt-d搭載マシンがやってきた。つまり、これはパススルーを試してみて可能ならば実運用してあげないと、僕はきっとpciパススルーがしたくても出来ない子らに殺されてしまう。衝動が走る。僕は、これで、PT2のパススルー環境を、試さなければならない。 というわけで、PCIパススルーを用いて、Linux KVM(on Debian Squeeze)でゲストOSからpt2を使えるようにした。環境再構築して記事の検証を行うのが非常に手間であるため、今回も記憶を頼りに書いてゆく。この記事の内容を参考にするのは自由だが、その結果について、私は一切関知しない。心の準備はオーケー？ 追記(2011/08/09) 二番組同時に録画すると、片方が録画してくれない現象発生……。もうホストで動かすお……。 環境 目的は、ゲストOS上にpt2のテスト環境を気軽に作ること。 mythTVやdvb版ドライバの挙動テス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバにログインしない・させないサービス運用 / AWS Summit 2015 Devcon
nginxのパフォーマンスチューニング
TechCrunch | Startup and Technology News
宁波逼拘旅行社
