タグ

troubleshootingに関するkwyのブックマーク (3)

  • Redis 本番障害から学んだコードレビューの勘所

    Redis不適切利用による問題は番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... (この話は事実ではなくファンタジーです。) 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以

    Redis 本番障害から学んだコードレビューの勘所
  • MySQLサーバーのディスク容量減少アラートが飛んでくる前に

    このビッグウェーブにいつ乗るの! 今でしょ! 元RX-7乗りの適当な日々 Linuxサーバがディスク容量不足になった!何か消さねば!ってなった時にどう対処するか tagomorisのメモ置き場 Linuxサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか iをgに変えるとorangeになることに気づいたoranieの日記 Cassandraサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか …と思ってたらMySQLバージョンも既に出た。けどめげない。かぶらないように書きます。というかタイトルはかぶらないように変えました(つд`) Y-Ken Studio MySQLサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか さてまず、MySQLで勝手に(?)増えるものといえば。 データファイル(.MYD, .MYI, .ibd, ibda

  • Cassandraサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか - oranie's blog

    乗るしか無い、このビッグウェーブに。 (このエントリとこのエントリの三番煎じです。) - 追記 Cassandraはデータ領域のDisk使用量が50%でクリティカルと記載しましたが、いきなりズドンと落ちるとかでは無く、compactionを実行した時にテンポラリーファイル作成します。これは対象のSSTableのサイズに依存します。で、このテンポラリーファイルが作成できなくなる可能性がある閾値が50%です。 http://wiki.apache.org/cassandra/CassandraHardware_JP から引用 MemtableSSTableで述べているように、コンパクションは最悪の場合、一時的にひとつのボリューム(つまりデータディレクトリ)に対して最大そのデータと同じだけの空き領域を要求します。 - まずCassandraでDisk空き領域が減少する可能性があるのはほぼ2つ。ア

    Cassandraサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか - oranie's blog
  • 1