これからはじめるインフラエンジニア 発表資料 | 外道父の匠
新卒採用のイベントで『知的ヘンタイ六番勝負』というのをやっていまして、その『第三戦 大規模インフラ・解析勉強会』にてインフラについて話してよ、と人事オファーをいただきまして発表した次第でございます。 エンジニア志望とはいえ、不特定多数の人間に対してインフラの話と一口で言われても、誰が何をどれくらい理解してるのかわからないので厳しい案件ではありましたが、せっかく来ていただくので真面目に張り切った結果、質疑応答含めて１時間弱に渡る発表＋風邪でノドが潰れた資料がこちらになります。 補足 新卒の方々に向けて これまで新卒の人に関わる機会がなく、インフラについてどの程度理解があるのか全くの不明でしたが、思っていたより勉強しているなという感触と、良いエンジニアになれそうな匂いを発している野郎も結構多かったな、という印象でした。 資料でも触れてますが、WEBエンジニアを目指した時に、何を武器に何エンジニ
大規模インフラの監視システム その2 | GREE Engineering
こんにちは。グリーのmdoi(@m_doi)です。 今回は、グリーの監視システムについて説明したいと思います。以前、こちらの記事にて、リソース監視システムの説明をさせて頂きましたが、死活監視やログ監視については語られなかったので、気になっていた方も多いと思います。ということで、今回は、グリーのインフラにおける死活監視やログ監視、アラート通知システムを紹介したいと思います。 何を使っているの？ グリーでは、死活監視にNagiosを使用していました。監視システムの中では、かなり有名なソフトウェアですから、監視システムの構築に使用したことがある方も多いのではないでしょうか。プラグインも豊富に存在するので、様々な監視を行うことができます。死活監視は、このNagiosの機能をそのまま利用し、ログ監視は、Nagiosと独自に作成したエージェント及びログフィルタを連携させて行っていました。 全体のシステ
Puppetのススメ
د. فوزية اخضر - تطبيق تجربة مدرسة المستقبل الشاملة - المعرض والمنتدى الدولي ل...IEFE
Kazuho@Cybozu Labs: 既製品の管理ツールを使わないことでウェブサービスの TCO を下げる話について hbstudy#8 で話してきた件
昨日、hbstudy#8 で話をする機会をいただくことができたので、Nagios や Amanda といった既製品の管理ツールやバックアップツールを使わずに内製したことで「パストラック」の運用コストを下げた、という話をしてきました。 もちろん、「既製品を使わない」というのもひとつの手段にすぎませんから、それを無闇にお勧めするつもりはありません。ただ、小回りの効くツールを組み合わせる手法にも十分な競争力があるという点、あるいはその事例として参考になれば幸いです。 スライドはこちら。hbstudy 運営の皆様、話を聞いてくださった皆様、ありがとうございました。
第7回 ［基礎知識編 2］エンジニアに必要な「数字」 | gihyo.jp
データセンター、フロア、ラック等の料金 ハウジングのようなサーバ機器を持ち込む形態を取る場合、データセンターに対して、ラックと電源、外部ネットワーク等の調達を期待します。 金額に関しては、筆者の知る限り指標となる相場的な情報があまりなく、金額も相当ばらけているように感じます。これは立地条件や、担保する瑕疵の内容、その他付加価値などに左右される部分もあるようです。たとえば、ラックと電源の単位で契約を行っている場合、自社のサービスを担保しつつ契約する部分を縮小していけるかがポイントとなります。 また、電気料金に関しては、ラック等の基本契約に含まれたり、従量課金制だったり、あらかじめ決められた容量が提供されていて、それを超える場合は応相談など、さまざまな形態があるように思います。これらは、自宅向けでも構いませんので電気料金の計算に当てはめて比較してみればだいたいの目安がつきます。 一般的な家庭の
Monitでサービス・プロセス監視、止まったら勝手にリスタート(1) « SawanoBlog.
Linuxサーバの話。 シンプルにサーバ上のプロセス監視をしたければ「Monit」が最近のお気に入りです。 プロセスの自動再起動とかは、「qmail+FreeBSDでdaemontoolsを使う」といった組み合わせをしたことはありますが、どうにもプロセスの堅牢化まで手順が多くて大変でした。 この前CentOS5でちょっと止まりにくい（止まってもすぐわかる）サーバを作らないといかんとなったので、外部監視はNagios、内部リソース情報取得にNRPE、そしてプロセスの死活監視をMonitでやって見たところMonitの使い勝手が思いのほか良かったので使い方を記事にしておく。 Monit公式サイトとマニュアルドキュメント http://www.tildeslash.com/monit/ http://www.tildeslash.com/monit/doc/ Monitによるローカルプ
ウノウラボ Unoh Labs: WEBサービス運用における監視体制
こんにちは satoです WEBサービスは作るよりも運用の方がコストがかかるとも言われています。 運用を極力自動化して、コストを減らしたいものです。 ここではウノウで使っているツール類を紹介したいと思います。 1) 疎通、生存監視 webの生存監視などは nagiosを使って監視しています。 nagiosには - いつ(土日を除く、10時～22時までの間で など) - どのタイミングで(N回連続で ,復旧したら など) - 何が起こったった時に(疎通が取れない など) - どうするか(メールで通知する) などを細かく設定できる監視ツールです。 ウノウでは MySQL、memcached、HTTP、ping、DNS、SMTPなどの監視をnagiosで行っています。 2) システムやアプリケーションLOG ログの監視には swatch を使用しています swatchの機能には -
Geekなぺーじ : Twitterのネットワーク構成を調べてみた
8月6日、日本時間23:30頃から1時間ほどTwitterが落ちていました。 どうもDoS攻撃が原因のようです。 Ongoing denial-of-service attack Site is down で、「Twitterってどういうネットワーク構成なんだろう？」と不思議に思ったので調べてみました。 まあ、「ネットワーク構成」と言えるほどの情報ではありませんが、情報として公開されているものを色々漁ってみました。 AS番号は？ まず最初に、Twitterほど大規模だったらきっと自前でASを運用しているに違いない、と思ってAS番号リストからTwitterを探しました。 でも、発見できませんでした。 「Multicast Technologies : asn_expand.txt」 私は何を見てるの？ 次に、「いつも自分が見ている物の実態は何だろう？」と思いました。 CDNを使っていると、国
なぜネットワークを管理しなければならないか？
この連載では、SNMPについて説明します。SNMPの管理モデルと役割、 SNMPのアーキテクチャとしてMIBの基礎とSNMPの動作、またMIBの拡張について解説していきます。 SNMP（Simple Network Management Protocol）はネットワークシステムを監視し管理するためのプロトコルです。近年のネットワークシステム管理の重要度が認知されるにつれ、SNMPによって実現するシステム管理ツールが注目を集めています。 この連載では「SNMP」とはどのようなプロトコルなのか、実際にSNMPによってどのような管理ができるのか、また管理情報ベース（MIB）によってどのような情報を取得できるのかを解説します。今回はまずSNMPの概要を理解していただくため、SNMPの管理モデルと役割を解説します。 ネットワークシステムに不可欠な「管理」 SNMPについての解説をする前に、まずネット
Cookieを利用したセッション維持(Sticky)の問題点
ロードバランサーの機能のうち、セッション維持は重要な役割な一つです。セッション維持を実現するための方法としては主に4つあります。 ソースIPアドレス利用 Cookie利用 SSL Session ID利用 URL利用 一番手軽なのはソースIPアドレスを利用する方法なのですが、NAT(Network Address Translation)環境では全てのマシンが同じIPアドレスに見えてしまうのでこの方法が使えない場合も多いと思います。そんなわけで私はこれまでCookieを利用する方法をよく使っていました。しかし最近になってCookieを利用したセッション維持が失敗するケースが増えてきました。それはなぜでしょうか？ Cookieを利用する方法の問題点 Cookieを利用したロードバランスでは、セッション情報をCookieに書き込みます。ところでCookieの仕様をRFC2965で確認してみると
第2回 「ギデオンBLOC system」株式会社やのまんの信頼を得たスパム対策ソリューション | gihyo.jp
12万5000通ものスパムメールを排除し業務効率の向上に寄与 細かく分割されたピースを組み合わせて1枚の絵を完成させるジグソーパズルには、時間を忘れて遊んでしまう独特の魅力があります。 株式会社やのまんは、そのジグソーパズルの国内生産をはじめて成し遂げたおもちゃメーカーで、現在は平面パズルから3Dパズル、パズル用額縁、カードゲームならびに出版事業まで、幅広い製品をラインナップしています。 しかし同社には頭痛の種がありました。それは膨大な量のスパムメールやウイルスメールです。この問題の解決策を考えていた2006年、メールサーバのリプレースに併せて導入されたのが「ギデオン BLOC system」です。 ギデオンBLOC systemはクライアントとメールサーバ間の通信を透過的に監視し、スパムメール及びウイルスメールの検知や排除を行うアプライアンス型のソリューションです。メールサーバへのインス
1Uラックマウント可能なサーバを自作する - marqs blog
はてなでは以前から自社製サーバを使用しているのですが、今年の春に、新たに自社製1Uハーフサーバを開発しました。 最近、タワー型だとメーカー製でもかなり安価なサーバがあるのですが、データセンターでの運用を考えると1ラックへの集積度が問題になってくるので、必然的にラックマウント可能なサーバが求められます。1Uサーバの中で価格対性能比のよいものを探すと、まだまだはてな的に使いやすいサーバが少ないので、今回このような1Uラックマウント可能なサーバを自社開発しました。 さてこのサーバの特徴としては、 ケーブル類がフロントアクセス 組み立て簡単 いけてるインフラアルバイトのid:hxmasakiが組み立てると15分 1ラックに60台以上搭載可能 もちろん、電源容量との兼ね合いもあります ディスクのホットスワップが可能 低消費電力 お値段据え置き 以前の自社製サーバとほぼ同価格 といったところがあげられ
VMware ネットワーク ブリッジ モード設定
VMware のネットワークモードは、ＮＡＴ がデフォルトとなっており、ＮＡＴモードでゲストＯＳをインストールした場合、ネットワークＩＰ等設定を自動取得にしておけば、VMwareDCHP,VMwareNAT サービスがその周りの設定処理を行ってくれる為、特に問題なくインターネット等に接続出来ます。 しかし、ホストＯＳとネットワーク接続を行う場合、接続時間が特に長かったり(一度接続後は通常の処理時間)、ホストＯＳ側とのネットワーク間で名前解決の設定等の問題が生じる場合があります。 その対策として、ブリッジモードでネットワークを使用する方法があります。ここでは、ホストＯＳ側 Windows , ゲストＯＳ側 Fedora の場合を例にしてブリッジモードのネットワーク設定例を示します。 VMware 本体の設定 VMware イーサーネット設定を下図のように「ブリッジ」に変更します。
MUNINとcactiとMRTG - サーバー技術メモ
cactiとHotSaNICを使ったことはあったけどMRTGはなかった。 MRTG試しているうちにMUNINというのを見つけた。 Perlで書かれており、RRD Toolと連携して、サーバに関するあらゆる情報をグラフ化し、HTMLを作ってくれます。MRTGよりも圧倒的にインストールも設定も簡>単。グラフ化する対象はプラグインで簡単に拡張可能。 グラフ化できるのは、初期状態でディスク使用量・MySQL・IOstat・トラフィック・プロセス数・VMstat・CPU温度・CPU使用率・ロードアベレージ・メモリ使用率・スワップ・Netstat・HDD温度など。プラグインを追加することでさらにApacheのロードタイム・メールキュー・ Asterisk・NFSクライアント・BIND・ColdFusion・DNSキャッシュ・MySQLの各種数値・PostgreSQL・印刷キュー・ ProFTP・Qma
第6回 知っておきたいApacheの基礎知識 その2 | gihyo.jp
前回は、Apacheの基本的なインストールから立ち上げまでを紹介してきました。今後、起動中のサーバで設定変更をしたときなどどのようにしてApacheを再起動すればよいのでしょうか？ 今回は、Apacheの起動scriptの使い方を中心に説明していきます。 Apacheの起動スクリプト 前回の記事で少し使用しましたが、Apacheには起動用スクリプトが同梱されています。 以下がApacheの起動用スクリプト「apachectl」の内容です。Usageが表示されるので、実際に実行してみます。 図 apachectlの実行 $ /usr/local/apache2/bin/apachectl Usage: /usr/local/apache2/bin/httpd [-D name] [-d directory] [-f file] [-C "directive"] [-c "directive"
はてなでの仮想化技術の使い方@AMDセミナー - とあるはてな社員の日記
先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen
デュアルコアとハイパースレッディングの違いってなんですか？
DualCoreは文字通り２つのコア（プロセッサ）が一つのプロセッサパッケージの中に収まっている製品を指します。物理的に２つのプロセッサが一つになっており２つの演算装置があるため、性能は１つのプロセッサ（ユニプロセッサ）に対して最大で2倍未満になります。 対して、HyperThreadingはインテル社がPentium4シリーズのNet Burst Micro-Architectureで採用した技術です。プロセッサそのものは１つでコアも独立してません。実際に処理する回路は１つなのです。ただ、OS上では２つに見せています。論理プロセッサを複数にしているのです。 ただ、論理プロセッサが増えれば速いわけではありません。このNetBurstでは、一つの命令実行に対して使われる処理回路の利用率が極めて低く5割を切ることもざらにあるのです。要は、CPU使用率が100%でも実際に使われている回路の半分以
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドのLVSについて - クックパッド開発者ブログ
ピクシブの自作インフラ事情
オープンソフトウェア：OSSモデルカリキュラムV1：IPA 独立行政法人 情報処理推進機構