サーバーの熱は冷まさなくても良い？
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、運用技術本部 サイトオペレーションズ部の秋山と申します。 Yahoo! JAPANには日本一のサイトを支えるたくさんのネットワーク機器、サーバー、ストレージがあります。 日々増え続ける、インフラ機器の運用管理に頭を悩ませている、管理者も多いかと思います。 悩むポイントは機器管理、コスト等いくつかあるかと思いますが、今回は「サーバーの熱」に焦点を絞り、話をします。 普段使っているパソコンなどもそうですが、情報技術（IT）機器全般に電源投入後は熱を持ち、 内部のファンで、たまった熱をケース外に吐き出す構造のものがほとんどです。 パソコン1台ですと、暖かい風が出てくるだけ。というイメージが多いかと思いますが、 データセンタの
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
Amazonからメール送信制限に関するEC2 Account Notificationが来た
とあるイベントで使うWebシステムでEC2を使ってたところ、Amazonからメール送信制限に関する通知が来たという話です。 このイベントでは、短時間で多くのリクエストを捌かないといけないので、あらかじめWebサーバを何台か立てて準備していました。さらに想定を超える負荷に備えて、増設用AMIも作成して、すぐに増設できる体制にしていました。もちろん増設のリハーサルもやりました。 そして、イベントが始まります。 アクセスがボチボチ来始めました。リソースにはまだまだ余裕があるので順調に捌いてくれています。とりあえず無難な立ち上がりだなと、ひと安心したところにメールが一通。 Dear EC2 Customer, You recently reached a limit on the volume of email you were able to send out of SMTP port 25 o
Amazon S3低冗長化プランはDurability 99.99%
以下のメールが、AmazonS3から届いていました。簡単に日本語訳をつけてみましたので、参考程度に御覧下さい。 Dear Amazon S3 Customer, We are pleased to introduce a new storage option for Amazon S3 called Reduced Redundancy Storage (RRS) that enables customers to reduce their costs by storing non-critical, reproducible data at lower levels of redundancy than the standard storage of Amazon S3. It provides a cost-effective solution for distributing or
FoursquareとAmazonEC2
カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (352) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (5) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン
Amazon EC2、良いところ悪いところ
「想定以上に使用するサーバー台数が増加する」 「管理コンソールのユーザーインタフェースがミスを誘発しやすい」 「Amazonの都合で仮想サーバーが再起動したことがあった」 「情報がすべて英語で、米本国との交渉が必要」 「クレジットカード払いなのが不便」 同社は2009年初めから、システム開発にEC2の仮想サーバーの利用を開始し、09年10月からは顧客企業向けのサービスもEC2上で稼働した。すでに80台弱のEC2仮想サーバーを利用し、コスト削減効果は3年間で5000万円を見込む。しかも単なるコスト削減にとどまらない効果がEC2にはあると語る。「当社は、マーケティング調査システムを自社開発しており、システム開発ユニットには委託先も含めておよそ20人のエンジニアが所属する。そのエンジニアの雰囲気が良くなったのは、EC2によって開発やテスト用サーバーを潤沢に使えるようになったためだ。当社は中国やフ
Amazonがシンガポールにデータセンター開設、レイテンシは短くなった？
Amazonクラウドは以前から「アジアに2つのデータセンターを開設する」としており、その1つ目のデータセンターが4月28日にシンガポールに開設されました。 「Amazon Web Services Blog」にポストされたエントリ「Now Open: AWS Region in Asia Pacific」によると、アベイラビリティゾーンは2つで、利用可能なサービスは以下の通り。 Amazon EC2 Amazon S3 Amazon SimpleDB Amazon Relational Database Service Amazon Simple Queue Service Amazon Simple Notification Service Amazon CloudFront Amazon DevPay また、価格表によると6月までインバウンドのデータ転送は無料。アウトバウンドも1カ月あ
Amazon EC2/S3 のシンガポールゾーンが稼働開始
Singapore National Day fireworks sneak preview on Flickr - Photo Sharing! アジア・太平洋地域初となるAmazon Web Serviceの基幹データセンターがシンガポールに完成し、本日より提供開始となりました。 EC2やS3などは当然として、ほぼ主要プロダクトはシンガポールで動作するようです。 ただ、Amazon Web Serviceは地域によって利用料金に微妙な差があるので注意してください。 このあたりは利用したい各プロダクトの利用料をご覧ください。 Products 日本に近いシンガポールにデータセンターが出来る事で、日本国内からのレイテンシが大幅に改善されているとのこと。すでに100ms近くは高速化しているらしいです。 この調子で日本国内にもデータセンターが建設されることを期待したいです;p
アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件 - blog.nomadscafe.jp
もっと詳しい方のフォロー募集です アプリケーションがマルチスレッドになってもネットワーク処理が分散されなければマルチコアを活かせない典型的な例です。id:viverの古橋さんがs100kpsとしてあげていた件にも近いかも。 memcachedで現象を確認します。最近のmemcachedはマルチスレッドで動くようになっているので、まずはそれを確認します。 $ memcached-tool localhost stats|grep threads threads 4 スレッドが4つで起動しています。 負荷がそれなりにある状態(8000req/sec程度)で、コマンドラインでtopを開き、「1」キーを押して、CPUごとの使用率を表示します。(例はFedora8 kernel-2.6.23) Tasks: 77 total, 1 running, 76 sleeping, 0 stopped, 0
@niftyの新しいクラウドサービス(β版)を使ってみた。 - 絶品ゆどうふのタレ
クラウドコンピューティングならニフティのパブリック型クラウド 先日、@niftyから国内では珍しい？コンシュマー向けパブリック・クラウド型の、IaaSクラウドサービスが発表されました。 で、これのβサービスが募集されていたので、これに応募したところ、先日アカウントが発行されてきたので、ためしにいろいろいじくってみました。 そこでちょっと、そのサービスを見てまわって、いじってみたうえでの感想を、おそらく競合の対象となるであろうAmazonとの違いも含め、サービス面・機能面のところからかるーく雑感として適当にまとめてみました。 網羅じゃないと思うけど、まぁ足しになれば。 なお、強調しておきますが、このデータは2010/01/24の段階でのβ版での話です。この内容がサービスの機能等が正式なものになるとは限りませんので、参考までに。 また、ここで開示する情報が規約上「開示してはいけない情報に該当す
スラッシュドット・ジャパン | サーバ監視、何使ってる？
SF.JP Magazineで「Webインタフェースでマシンを監視する4つの方法」という記事が掲載されています。Webインタフェースを持つ4つのサーバ監視ツール（collectd、Cacti、Monitorix、Munin）の特徴をそれぞれ解説した記事で、筆者は記事の末尾で以下のように述べています。 データをじっくりと分析する場合や、管理者以外のユーザからもシステムの統計情報を参照できるようにする場合は、最初にCactiをあたるのがよさそうだ。すでに十分な負荷がかかっているシステムで情報収集を行うなら、システムに与える影響の小さいcollectdを試せばよい。また、多数のノードで個別のアプリケーションパッケージを使って情報を集めるMuninは、同じようなマシンで構成される小規模なグループの監視に向いており、1台しかないサーバの状態を手っとり早く把握したければ、とりあえずCactiかMoni
ウノウラボ Unoh Labs: Amazon Web Services入門: PHPとEC2/S3/SQS/SimpleDBで作るビデオ共有サイト
新年あけましておめでとうございます、五十川です。 PHPデベロッパー向けのAmazon Web Services（AWS）のリソースはhttp://aws.amazon.com/php/にまとめられていますが、そのArticles & Tutorialsカテゴリーにある、Introduction to AWS for PHP Developersという記事は、AWSの主要サービスの概要と、PHPによるその操作を学ぶチュートリアルで、ここで取り上げられているサービスに初めて取り組むPHPデベロッパーには格好の入門となっており、ここではこのチュートリアルを紹介したいと思います。 また、このチュートリアルはAmazon純正のライブラリを利用していますが、AWS用のライブラリには様々なものがあり、この記事の最後ではそのひとつ、Tarzanを紹介しようと思います。 なお、以下のチュートリアルのスクリ
Yahoo! JAPANがクラウド構想を発表。オープンなプラットフォームとして開放へ
Yahoo! JAPANが国内でのクラウド戦略を初めて明らかにしました。同社が持つサービスやインフラのオープン化を推し進めることが戦略の骨子。IDや課金プラットフォーム、Amazonクラウドに対抗できるHaaSなどを提供したいと、8日に都内で開催されたイベント「SaaS World / Tokyo 2009」の基調講演で、ヤフーのR&D統括本部 大矢俊樹氏が説明しました。 クラウドを利用する顧客サイトへの誘導も ヤフーのクラウドサービスは、ネットビジネスを行う企業に対して提供することを想定しており、利用する企業にとって「売り上げを上げられるか、コストを下げるか、どちらかに貢献するサービス」にしたいと大矢氏は説明します。 「今後さまざまなサービスやネットビジネスが生み出される土壌を整備、支援していくことで、ヤフーにも長期的なメリットにつながると思っている」（大矢氏） 主な顧客としては100名
値段で分かる、クラウドの「おいしい」使い方
値段で分かる、クラウドの「おいしい」使い方：Amazon EC2/S3のコストを試算（1/2 ページ） クラウドコンピューティングの利点はさまざまに伝えられているが、実際にはどれほどのコストメリットがあるのだろうか。Amazon EC2/S3を例にとって試算してみよう。 クラウドコンピューティングのコストメリット 前回はクラウドコンピューティングへの期待をいろいろと挙げてみましたが、今回は、「安い・早い・うまい」と噂されるAmazon EC2/3を題材に、実際にエンタープライズ領域で利用したらどのくらいのコストになるか、試算してみたいと思います。 試算の条件は以下に整理しました。金額そのものは利用条件しだいで変わりますが、試算をすることで、コスト効果を得るためには利用者側でも工夫が必要なことが見えてきました。 状況 試算対象として、以下のシーンを想定してみます。 ECサイトで2週間限定の決
サーバーを監視してアラートをiPhoneへプッシュ通知する『Pingdom』-今日のアプリ第494回
『Pingdom 』はWebサーバーなどを常時監視し、トラブルが発生した際にプッシュ通知でiPhoneへアラートを受け取ることができるアプリです。 サーバー監視サービスの「Pingdom」が無料で提供するもので、アラートの他にもアクセス速度や稼働率といった情報をグラフで確認することも可能です。 このアプリは利用するには、あらかじめPingdomのサイトで登録作業を行う必要があります。有料のプランも用意されていますが、1つのサイトを監視するのであれば、無料のプランでも十分機能します。 ユーザー登録を済ませたら、、「Contacts」でアラートを受け取るユーザーを追加し、「Checks」で監視したいサーバー(サービス)を追加。「Notification」の”iPhone“にチェクを入れます。 アプリを起動してユーザー登録で使用したメールアドレス・パスワードでログインします。プッシュ通知のプロン
見落としがちなLinuxのWEBチューニング | Act as Professional
WEBコンテンツ配信にLinuxを使うのは一般的になりましたが、CentOSやUbuntuをはじめ、大抵のディストリビューションが低スペックなマシンでも動くような初期設定になっています。 トラフィックの上限でもない CPUリソースの枯渇でもない HDDのIOが遅い問題でもない コンテンツが重くなる(接続できない)というケースで、見落としがちなLinuxのネットワーク周りのチューニングについてです。 iptables関連iptablesを使用している場合、下記のパラメータを注意して下さい。 /proc/sys/net/ipv4/ip_conntrack_maxip_conntrackに記録できる最大値です。65536あたりが初期設定になっているかと思います。これだとパケットの取りこぼしがすぐに起きてしまいます。1コネクションあたり約350バイト消費するので、実装されているメモリに応じて値を変
クラウドよりも最適化された企業のデータセンターの方が低コスト、との調査結果
米調査会社のIDCが9月29日にロンドンで開催したイベント「IDC's Cloud Computing Summit 2009」で、同社の欧州システムグループ所属コンサルタント Matthew McCormack氏は「最適化された企業のデータセンターは、3年以上運用するとトータルコストがクラウドの利用コストよりも下がる」という調査結果を明らかにしました。 McCormack氏は講演の中で、典型的な企業の大規模システムをデータセンターで構築し運用した場合と、同様のサービスをクラウドの利用で得た場合のコストを比較。最適化された企業のデータセンターは、初期投資こそかかるものの運用コストはクラウドの費用を下回り、結果として3年でトータルコストがクラウドを下回るという結果を示しました。 初期投資として500万ポンド（約7億5000万円）のシステムを想定。大規模な業務システムを100％企業のデータセン
サーバは仮想化されるべきだが、データベースには気をつけろ － Publickey
StorageIOblog » Blog Archive » Should Everything Be Virtualized? The Server Storage IO Groupのアナリストが書いているブログ「StorageIOblog」に、「Should Everything Be Virtualized?」（すべては仮想化されるべきなのか？）というエントリがポストされました。 すべてのサーバ、I/O、ストレージは仮想化されるべきなのか？ という問いに答えるエントリになっています。 Unfortunately consolidation is commonly misunderstood to be the sole function or value proposition of server virtualization given its first wave focus.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google、Amazon S3のライバル、Google StorageをI/Oカンファレンスで発表へ
「無届けで自宅サーバーを運用していた」として逮捕？ | スラド IT