大規模インフラの監視システム | GREE Engineers' Blog
こんにちは。インフラチームの ebisawa です。 今回はグリーのインフラにおける各種機器の監視がどのように行われているのかご紹介させていただきたいと思います。一般にサーバの監視というと、システムダウンを検出するための死活監視を意味する場合と、ネットワークトラフィック等のモニタリングのことを意味する場合とがあります。今回の監視は特に後者についてのお話です。大規模なインフラの監視には、やはり特有の課題があります。 どんなツールを使っているのか グリーではサーバの各種リソース使用状況をモニタリングしてグラフ化するためのツールとして、Cacti を利用しています。Cacti は、大変有名なツールなので皆様ご存知かと思いますが、バックエンドの RRDtool で作成したグラフを閲覧するための使いやすいユーザーインターフェイスを備えています。 http://www.cacti.net/ ツールの使
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
PostgreSQL Streaming Replication (ストリーミングレプリケーション)
[Streaming Replication] はじめに クイックスタート 機能一覧 仕組み プロトロルの検証(Coming Soon) [PostgreSQLの基礎知識] PostgreSQLとは PostgreSQLの概要 データベース,テーブル,スキーマとは データベースユーザ,グループ,データベースシステムとは データベースクラスタとは システムカタログとは 文字コードの扱い アクセス方法 [PostgreSQLの内部構造] プロセス構造 メモリ構造 問い合わせ処理の流れ プランナ データ管理 トランザクションID(XID)の管理 トランザクションの隔離とは ロックとは WALとは(Write Ahead Logging) WALの詳細 [PostgreSQLの高可用性] 高可用性システム、大規模システム pgpool-II:オンラインリカバリ slony-I:オンライン
PostgreSQL Streaming Replication (ストリーミングレプリケーション)
クイックスタート 最も単純な構成でStreaming Replicationをセットアップする。 master、slaveとも同一サーバ上で動かす。ポート番号だけ変えて起動する(master=5432, slave=2345)。 マスタ 最低限の設定項目を示す。 # 啓蒙 shared_buffers = できるだけ大きな値 # これをonにしなければ始まらない。 archive_mode = on # archive か hot_standby。今回はHotStandbyと併用するので"hot_standby" wal_level = hot_standby # PITR用。適当なディレクトリを指定 archive_command = 'cp -i %p /home/postgres/archives_master/%f' # スレーブの最大数。ここでは1。 max_wal_sender
livedoor Techブログ : データバックアップ再考
こんにちは、ネットワーク事業部フルマネージドホスティング部の冨成 章彦です。 とても地味な話題になるのですが、私はシステムの運用部門に長く携わっていて、我々の業務の中で、とても重要でありながら、いつも忘れられがちなバックアップ、ということについて、関連するキーワードの解説も交えつつ、必要性や手法など様々な面で掘り下げてみたいと思います。 ITに少なからず関わっていれば、データをバックアップしておくことの重要性は良く知っていると思います。しかし、実際の日常でバックアップについて真剣に考える機会は少ないのではないでしょうか。この時代に今更バックアップの話、と感じる向きもあるかもしれませんが、世の中が全てクラウドコンピューティングになったしても、なお、我々は、手法は変わりながらも、バックアップの必要性から完全には解放されないと考えています。 バックアップの必要性 - データは時々失われるという前
MOONGIFT: >> RailsにおけるMySQLのボトルネックを分析する「Palmist」:オープンソースを毎日紹介
Railsは度々遅いということが話題に上がる。Ruby自体の性能もあるだろうが、データベースを富豪的に使っているのにも原因がある。便利であるためについついデータベースを多用していたり、データの取り出しを複雑（都度集計など）にしていないだろうか。 メイン画面 個人的な経験から言えばボトルネックになりがちなのはレンダリングとデータベースだ。このデータベースの問題点を洗い出すのに便利なのが、またしてもRailsアプリケーションだ。 今回紹介するフリーウェアはPalmist、RailsのMySQL実行履歴を見るソフトウェアだ。ソースはGithubで公開されているがライセンスは明記されていなかったので注意していただきたい。 Palmistは他のRailsアプリケーションのログファイルを読み取って、それを解析して表示してくれる。コントローラ、アクション、DBへのCRUDごとにリストアップしてくれる。実
pop3/imap サーバdovecotのユーザをmysqlで管理する｜株式会社 フラッツ
dovecot(pop3/imapサーバ)をmysqlとpostfix adminで管理する 少し前に、それなりの数のユーザ数を扱うメールサーバを立てました。 MTAにはpostfix、POP3サーバにはdovecot 1.0.7 、アカウント管理アプリにはpostfix admin(http://sourceforge.net/projects/postfixadmin/)、アカウント情報の管理にはmysqlを利用するといった構成にしました。 postfix adminでは、 ・WEBアプリで管理ができる。 ・複数ドメインを管理可能。 ・各ドメインに複数管理者を設置可能 ・各ドメインでは、仮想メールユーザ（UNIXユーザはつくらない）を設定可能 ・各ドメインでは、メールアドレス転送設定を設定可能 と基本的な機能は網羅しています。 メールをバーチャルホストで管理していて、簡単にメールユーザ
sshを制限してsftpだけ許可する - GeekFactory
ファイル転送用のアカウントでは、sshを制限してsftpのみ許可したい場合があります。ログインシェルを/sbin/nologinに変更すると、sshだけでなくsftpも制限されてしまいます。そのような場合はsshd_configのForceCommandを使います。 例えば、 # /etc/ssh/sshd_config #... # override default of no subsystems Subsystem sftp /usr/lib64/misc/sftp-server Match User hoge ForceCommand /usr/lib64/misc/sftp-server と書くと、ユーザhogeはsftpしか使えなくなります。sshクライアントから接続しようとしても、セッションがsftp-serverに流れるのでbashは使えません。
＠IT Special PR：600億PVもMySQLで！ モバゲーのインフラ底力
携帯向けサイト「モバゲータウン」の勢いが止まらない。2010年3月の会員数は約1800万人、月間ページビュー（PV）600億という"モンスターSNS"に成長している。意外なことに、これだけのアクセスをさばくのに、memcachedをはじめとするKVS（Key-Value Store）系のインフラ・ソフトはあまり使っておらず、MySQLで十分だという。モバゲータウンのインフラ担当者に話を聞いた。 モバゲータウンを運営するDeNA（ディー・エヌ・エー）は、もともと1999年に開始したオークションサイト「ビッダーズ」で知られている。その後、オークションに加えてECサイトを開始し、auとの提携により「auショッピングモール」などで急速に成長した。 ビッダーズだけでも、数千万PV規模の大規模サービスだが、最近はモバゲータウンの成長が著しい。 「特に2009年9月から順次リリースした自社製のソーシャル
仙石浩明の日記: Linux サーバ同士をシリアルケーブルでつなぐには寡黙な getty が必要
私の自宅 LAN (GCD) の対外ルータである 2台の Linux サーバ (senri と asao) は、 双方のシリアルポート (つまり DSUB9ピンの RS-232C) 同士がつながっている。 いまさら RS-232C ? と思う人が大半だと思うが、 最後の命綱としての安心感は測り知れない。 つまりサーバをリモートから (ネットワーク経由で ssh ログインして) いじっていると、 ちょっとしたミスで操作不能に陥ってしまうことがある。 例えば NIC を down してしまった、 iptables で DROP する設定にしてしまった、 sshd を殺してしまった、 等々。 あるいは、 リモートから再起動を行なう場合、 起動スクリプトのほんの些細な設定ミスで、 リモートからは操作不能になってしまう。 こんなとき、 2台のサーバのシリアルポート同士を RS-232C クロスケーブ
Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照（＝PV）が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
スピリチュアルエンジニアリング入門 - 昼メシ物語
先日 hack05 というイベントで LT をしたので、そのときの資料をまとめておきます。 スピリチュアル エンジニアリングとは システム開発・運用にスピリチュアル要素を取り入れることでシステム安定化を目指します。 皆さんご存知の通り、人間の技術力には限界があり、予測不能な事故（バグ）はまさに、神の領域といえます。 そこで「ジンクス」「縁起かつぎ」「妖精さん」などの力を借りることで、人間の手ではどうしようもない事態を回避するというのがこのスピリチュアルエンジニアリングです。 スピリチュアルエンジニアリングの基本原理 スピリチュアルエンジニアリングの基本は「祈り」にあります。「絶対に動く」という祈りの強さがよりよいコードをもたらします。 スピリチュアルはすべてのエンジニアの身近に！ 以下に当てはまる人がいたら、あなたも立派なスピリチュアルエンジニア！ コーディング中に神が降りてきたと思う瞬間
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
お勧め！使い勝手の良いSubversion管理フロントエンド·Submin MOONGIFT
Gitをはじめとした分散バージョン管理システムが流行っているが、システムの現場ではまだまだSubversionの利用が多いことだろう。そしてこれから新たにSubversionのサーバを立てようと考えている会社もあるかも知れない。 WebベースのSubversion管理インタフェース そのような方々にお勧めしたいソフトウェアがある。WebベースでSubversionの管理ができるSubminだ。 今回紹介するオープンソース・ソフトウェアはSubmin、Pythonで作られたSubversion管理フロントエンドだ。 Subminのお勧めできる点として、格好のいいインタフェースがある。ユーザの作成、グループの作成そしてリポジトリの作成と全てWebベースで行える。インストールさえしてしまえば、ターミナルを使ってメンテナンスすることはまずなさそうだ。色合いなども何となくApple純正のソフトウェア
＠IT：Ubuntuで始めるクラウドコンピューティング（1/3）
～Amazonとユーカリ、コアラが好きなのはどっち？～ Ubuntuで始めるクラウドコンピューティング Ubuntu 9.10には、EucalyptusをベースにしたAmazon EC2/S3互換の仮想化環境構築ソフトウェア「Ubuntu Enterprise Cloud」（UEC）が含まれています。早速試してみませんか（編集部） Ubuntu Japanese Team／株式会社創夢 吉田 史 2009/11/25 EucalyptusとUEC 10月29日にリリースされたLinuxディストリビューション「Ubuntu 9.10」（開発コードネーム“Karmic Koala”）には、「Ubuntu Enterprise Cloud」（UEC）という、Amazon EC2/S3互換の仮想化環境構築ソフトウェアセットが含まれています。 UECはUbuntu 9.10の主要機能の1つとして開発
Lua スクリプト機能
Lua スクリプト機能バージョンの新しいファームウェアは、基本的に以前のバージョンでサポートする機能を含みます。詳細は Lua 言語の文法とライブラリ関数を参照してください。 用語の定義 Lua タスク ... Lua スクリプトを実行するためにルーターの OS に用意されている専用のタスクです。 lua コマンド用に 8 個、DOWNLOAD ボタンからの実行用に 1 個、Lua コンパイラ用に 1 個の計10個 (*1) が予め用意されています。それぞれのタスクは独立しているので Lua タスクの最大数まで同時走行が可能です。 (*1) DOWNLOAD ボタン非搭載機種、および、SRT100では、DOWNLOADボタンからの実行用のタスクを除く、9個のタスクが用意されています。 詳細 Lua スクリプトの実行方法と実行環境 管理ユーザー権限でルーターにログインして lua コマンドを
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://compression.ca/pbzip2/
Ganglia
Xymon監視