サイボウズ版 MySQL パフォーマンスチューニングとその結果 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。先日親知らずを抜歯した時、つらすぎたので MySQL の JOIN のことを考えて心の平静を保っていました。 サイボウズの製品のひとつである kintone はニーズに応じて自由に業務アプリのようなものを手軽に作ることができ、データの検索条件やソート条件も細かくカスタマイズ可能で、様々なレベルでのアクセス権も設定可能という非常に便利なツールです。 しかしその機能を支える裏側では複雑なクエリが発行され、MySQL に多大な負荷をかけています。サイボウズのクラウドには数十テラバイトに登る MySQL データがあり、数千万件オーダーのテーブルを複数 JOIN するクエリが毎秒のように実行されるという、エンジニア魂が滾る環境です。 現在サイボウズでは性能改善に力を入れており、僕もその業務に従事しています。例えば2018年
PrometheusでNATを越えよう！ – 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol3~ | Nagisaのすゝめ
2017年12月13日 PrometheusでNATを越えよう！ – 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol3~ PrometheusでNATを越えよう！！ どうもNagisaのインフラエンジニア 榎戸です。 ついに、Prometheus2.0がリリースされました！ もっとPrometheusユーザが増えてくれると 色々な記事が上がったりして情報が増えるので嬉しいのですが・・・ 今回も下記記事の続編ということで PrometheusのNAT越えについて書いていきます。 こちらはよく個人的に聞かれたり、 多くの人が気になっているところではないでしょうか。 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わ
1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol2~ | Nagisaのすゝめ
2017年10月24日 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol2~ どうもNagisaでインフラエンジニアをしております榎戸です。 今回は下記記事の続編ということで 実際にPrometheusのインストールや設定について書いて行こうと思います。 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話 ※2017-10-05にv2.0.0-rc.0がリリースされておりましたので v2.0.0-rc.0を使用して説明を行なっていきます。 また光栄な事に意外と反響が大きく、こういうことを知りたいなどのコメントを頂けたので その辺りはまた次回以降に書かせて頂こうと思っております。 今回紹介する内容 導入 Prometheusインストール node_exporterインストール AWS/EC2イン
1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話 | Nagisaのすゝめ
はじめに 初めまして、下記の記事にて紹介がありました インフラエンジニアの榎戸です。 golangを使って開発したWebAPIを1年半運用して改善してきたことー月間20億PVのマンガサービス開発の裏側 場数を踏んできたのかは分かりませんが 笑 23歳エンジニア歴は２年と浅めです。 まだまだ未熟なエンジニアですが 今回はPrometheus + Grafana について紹介させて頂きます。 内容については下記となります。 Prometheus導入の経緯 Prometheus概要 Prometheusでの監視構成 次回お知らせ それでは始めていきます。 Prometheus導入の経緯 まずPrometheusを導入した経緯について少しだけ触れたいと思います。 弊社では月間20億PVのマンガサービスやそれと並行して走っているマンガサービス、また動画配信サービスや、アプリゲームの配信なども行なって
O'Reilly Japan Community Blog: スタートアップ企業向けインフラ運用入門アーカイブ
システムをリリースして無事運用に乗った後も、様々な要因によりシステムを拡張する必要が出てきます。今回は、システム拡張の要因、及び基本的なシステム拡張の方法を具体例を挙げつつ説明していきます。 初めに これまで4回に渡り、インフラ運用に関する入門的な記事を書いてきました。それらの内容を実施して、システムが安定運用に乗ってきたと仮定します。業務系のシステムであれば、そこでインフラ担当の仕事は大体終わりとなり、オペレーターなどに主要な業務を引き継ぐことになると思います。それに対してRettyのようなWebサービスの場合は、システムが軌道に乗った後も継続的なシステム拡張が発生することが一般的です。 本記事では、まずどのような事をきっかけ・要因としてシステム拡張が必要になるのかについて説明します。次に、Rettyのシステム構成を簡単に説明し、システム拡張が必要となる各種要因に対して、どのような方針で
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（システム編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（システム編） こんにちは nob です。 前編 これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編） の記事から１年半が経過してしまいました。ちょっと長いお休みでしたが、その間に蓄えた MySQL パフォーマンス監視の実戦経験を（システム編）としてお届けいたします！ 今回の（システム編）で紹介するツボは 4 つです。（クエリ編）のツボに加えて、この4つに注目して頂ければ MySQL のパフォーマンス監視もバッチリです。 （ツボ１）Load Average < (1 + (cpu数-1)/3) （ツボ２）Checkpoint Age が水平線になったら要注意 （ツボ３）MyISAM は無いよね監視 （ツボ４）万能選手スローログ なお前編と同様この記事では監視ツールとして Cacti と Percona MySQL
Fabricのインストールと使い方ちょっとだけ(CentOS6.3) | iOSS
デプロイツールです。 Chef-Soloと組み合わせたら便利？かと思ってインストールしてみました。 # su - # yum install python-devel wget -y # yum groupinstall "Development Tools" -y # cd /usr/local/src # wget http://peak.telecommunity.com/dist/ez_setup.py # python ez_setup.py # easy_install pip # pip install fabric 使い方はhttp://docs.fabfile.org/en/1.4.3/index.htmlに全部乗ってます。 チュートリアルもhttp://docs.fabfile.org/en/1.4.3/tutorial.htmlにあります。 使い方①(ローカルサー
Fabricインストールメモ - wyukawa's diary
Hadoopのような複数台のマシンを相手にする作業だと一括でコマンド発行したいことがあります。 その際に各マシンにいちいちSSHでログインして作業するのは面倒です。 なのでその辺りを解決するツールが欲しくなります。 Hadoop徹底入門だとparallel-sshが紹介されています。 ただこれだとsudoがうまくいかないんですよね。 sudo: sorry, you must have a tty to run sudoと言われます。 Google Code Archive - Long-term storage for Google Code Project Hosting.によれば-xオプションつけてsshの-tオプションを渡せば良いように見えますが、 pssh -h hostlist -O "StrictHostKeyChecking=no" -x -t -A -l ユーザ -i "
Chefに挫折したあなたへ。Fabricのすすめ
サーバ設定作業は面倒で間違いを犯しやすいため、Chef/Puppetなどのツールで自動化したいと考えている方は多いと思います。 私もそのような理由からChef(-solo)を習得しようと試行錯誤していました。 その結果、ある程度は動くようになったものの次のような問題があると思いました。 学習に時間がかかる 私は正直、今でもどのファイルに何を書くのかよく分かってないです。 幾分か簡単だと言われるchef-soloでも公式サイトのドキュメントだけではよく理解出来ませんでした。 また、バージョンによる差異なのか目的が異なるのか分かりませんが、ブログ記事を参考にしようとすると十人十色でどれが私に合った手順なのかわかりませんでした。 例え最終的に理解できたとしても、私やあなたが何日もかけて理解できないことはチームのメンバーも理解するのは難しいと思います。 対象サーバにインストールする必要がある Ch
Stray Penguin - Linux Memo (monit)
このサイトは、もともと作者の自分用メモとして書き始めたものです。書いてあることが全て正しいとは限りません。他の文献、オフィシャルなサイトも確認して、自己責任にて利用してください。 MONITは、デーモン監視プログラム。異常をきたしたサービスを自動的に再起動したり、そうした異常をメールで通知させたりできる。WEBインターフェースも内蔵しており、他ホスト上のブラウザからデーモンの状態確認や手動での停止/起動も可能。バージョン 4 からは、パーティションの使用状況など、デバイスの監視も可能となった。同じような目的のプログラムとしては daemontools や Webmin が一般的だが、それらが粘着質すぎるとかウザッタいと感じたならば、シンプルで素直な MONIT を利用してみてはいかがだろうか。 注意事項： 以下の設定は、基本的にMONIT 4.1 以上であることが前提。 4.2.0以前のM
いますぐ実践! Linux システム管理
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
自動バックアップ運用(tar+GnuPG) - CentOSで自宅サーバー構築
Linuxサーバー内データの自動バックアップを行う。 ここでは、サーバー内データをtarコマンドで圧縮してバックアップ先ディレクトリへ退避しておき、指定により、退避したバックアップを管理者以外が参照できないようにGnuPGコマンドで暗号化もできるようにする。 [root@centos ~]# vi backup.sh ← バックアップスクリプト作成 #!/bin/bash # # ローカル内でバックアップ # LANG=C # # 設定開始 # # バックアップ対象リスト名 # ※バックアップ対象をフルパスで記述したリスト BACKUPLIST=/root/backuplist [ ! -s ${BACKUPLIST} ] && echo "${BACKUPLIST} is not found" && error_exit # バックアップ対象外リスト名 # ※バックアップ対象外をフルパス
Munin 2.0(stable)登場☆新機能はとってもうれしいなって（第1回） | Pocketstudio.jp log3
◆ Munin 2.0 (stable) が遂にリリース！ “リソース推移のモニタリング” ただ、それだけに特化した、監視ツール Munin 。設計思想は、シンプルかつパワフルに。 Munin は、サーバの「リソース推移」を見るためのツール。簡単なセットアップで、ブラウザを通して、サーバの中の様々な状況を、グラフとして見ることができる。例えば、CPUの使用状況や、メモリ、ディスク等々。障害通知の機能は最低限。あくまでリソース推移を簡単に見ることに特化。 単純に数値を見るだけなら、sysstat(sar)や各種のログを見る事でも目的は達成できる。しかし、障害発生の現場においては、複数のサーバから、複数の指標を取得＆比較し、迅速な対応と判断が求められる。そこでは、ログの追跡は時間や人手がかかる。一方、グラフで障害発生ポイントを、視覚的に、迅速に把握できるようになる事は、原因切り分け時間の短縮
MonitoringTips - Hayasaki_Wiki
サーバ監視・モニタリング・セキュリティ設定 以下は CentOS 5.3 (x86_64)の場合． 早崎Wikiのトップに戻る Linux Tipsに戻る munin セットアップ 実施事項 (コマンドの羅列; とにかく取り急ぎ手順を知りたい人向け) 準備〜稼働までの，大雑把な流れは以下の通り: (以下，特に断りが無い限り全て監視対象ノードでの実行) # rpm -ivh http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-3.noarch.rpm # yum -y install libsysfs libsysfs-devel # yum -y install munin* unbound-munin # rpm -Uvh http://elrepo.org/elrepo-release-0.1-1.el5
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLを割と一人で300台管理する技術
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい！ -
職人任せにしないインフラ構築/運用 ~ DevOps時代を生きぬくために ~
15分で始めるmonitによるサーバ監視
Monitoring tips for munin (hysk)
layer8.sh