『アメーバピグにおけるDB構成&対応記』
2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データストアにMySQLを用いてます。本記事では、わたくしが2年ほど見続けているアメーバピグのDB環境について構成や、日々どのようにして問題と向き合っているかを紹介したいと思います。インフラ寄りの内容が多いため、アプリ寄りの話は弊社生沼の資料を御覧ください。 1. 構成と規模 1.1. 構成 まず構成ですが、読み書きはすべてマスターへ行うようにしています。そのため、スレーブには参照を向けず、ホットスタンバイとして使っています。バージョンに関しては2012年中旬までは5.0を使ってましたが、DC移転にあわせて5.5にあげました。ロック機能を用いたシャード構成をしてまして、2014年3月現在6シャードにな
2013年について書く
登壇今年は自分のエンジニア人生を左右する登壇をいくつかすることができた。 CROSS 2013 「継続的システム運用のゲンバのハナシ」トークセッション。運用エンジニアとして話したのはこれが最初かも。この登壇をきっかけに Web インフラ界隈のみなさんと知り合うことができて、大きな意味があった。 登壇中にビールのロング缶を2本空けてしまって、自分にマイクが回ってくる頃には質問忘れてたりしてめちゃくちゃになった。とはいえセッションは好評だった。 あなたの知らないインフラと運用のゲンバのハナシ～CROSS 2013レポート | イベントカレンダー＋ログ 一年を振り返りなう。CROSS2013で @mirakui さんが言ってた「インフラエンジニアには政治力が必要」ってのは至言だなぁと改めて思ってる。予算とスケジュールがないとどうにもならないものね。(※このへんがうまく確保されないのはプロジェクト
『インフラエンジニアの教科書』この本をなんと呼ぶ？教科書と呼ぶ！ - 256bitの殺人メニュー
ぼくがいわゆる、インフラエンジニア。サーバサイド等をやるエンジニアになった時に何かに詰まったり、気になった事ができた時にGoogleで検索して、良く出てくるページが有ったんです。それは「sanonosa システム管理コラム集」でした。 その頃はインターネット上の情報もそんなに多くなくて、sanonosaさんの知識は幅広いしありがたいなぁ、と思ってました。 それから、ぼくのRSSリーダー（その頃はWebで見れるRSSリーダーってあんまりなかったですねｗ）には長らく、 @sanonosa さんのブログは入っていたと記憶しています。 その@sanonosa さんの書いたインフラエンジニア向けの本が出るということで、もし初心者向けだったとしても買うしかない、と思って即決で買った本が、こちらの『インフラエンジニアの教科書』です。 インフラエンジニアの教科書 作者: 佐野裕出版社/メーカー: シーアン
Facebookが何千台ものMySQLを人手を使わず自律管理する仕組み「MySQL Pool Scanner（MPS）」
おそらく世界でもっとも大規模にMySQLのクラスタを展開し、運用しているのがFacebookでしょう。複数のデータセンターにまたがり何千台ものMySQLサーバを運用するために、自動化の仕組みは欠かせません。 その自動化がどのような仕組みになっているのか。FacebookのデータベースエンジニアであるShlomo Priymak氏が、Under the hood: MySQL Pool Scanner (MPS)という記事をFacebookで公開しています。 かなり長い記事なので、ここではそのポイントをまとめて解説してみました。詳細はぜひ原文をあたってみてください。 MPSのおもな3つの機能 Facebookで稼働しているMySQLは、つねに1つのマスターとそこからレプリケーションされた複数のスレーブによるレプリカセットを構成しています。このレプリカセットの構造を維持し続けることで、可用性と
[ニュース] はてななどの各社担当者が自作サーバーのノウハウを紹介
はてなやサイバーエージェントなど、5社の担当者が自作サーバーに関するメリットやデメリット、ノウハウなどを紹介する「自作サーバカンファレンス」が11月25日に開催された。 自作サーバーのメリットといえば、コストダウンがもっともわかりやすいメリットだったが、最近ではベンダー製サーバーの価格低下やクラウドサービスも充実し、コスト面では以前ほどの価格差はなくなってきている。しかし、「まだまだ自作サーバーの可能性は豊富にある」ということで、はてななど自作サーバーを利用するITベンチャー5社が自社の導入例をもとにメリット・デメリット、ノウハウなどを紹介するカンファレンスを開催した。 カンファレンス冒頭に登壇した、株式会社はてなで執行役員を務める田中慎司氏は「はてなでは設立当初から自作のサーバーを使ってきているが、ここ最近を見ると他社でも自作サーバーを使用するケースが出てきている」とコメントした。 また
Designing Opeation Oriented Web Applications / YAPC::Asia Tokyo 2011
Designing Opeation Oriented Web Applications / YAPC::Asia Tokyo 2011
おそらくはそれさえも平凡な日々: サーバーマシンのコア数に応じてworker数を調整する方法
PSGI/Plackアプリケーションの起動方法いろいろと本番環境アレコレ 便乗ポスト。最近は、上記内の「シェルスクリプトでラップする方法」で運用していることが多いです。その場合のone more tips. appサーバーごとにマシンスペックが違う場合がたまにあって、その場合マシンごとに worker数を調整したいけど、deployの都合上サーバー起動スクリプトは同じやつを使いた いってことがあります。 そこでおすすめなのが、CPUコア数に応じてworker数を計算する方法です。 シェルスクリプトの場合、 % cat app.sh #/bin/sh NCPU=`getconf _NPROCESSORS_ONLN` WORKERS=$(expr $NCPU \* 5) exec plackup -E production -s Starlet --max-workers=$WORKERS と
【チラ裏】あなたは本当にそのデータストアが好きで使うんですか？ - oranie's blog
チラシの裏的な雑記です。 サービスに新しいデータストアを選ぶ際にこの辺を情熱を持って説明してくれる人が好き、という話です。 そのデータストアを使う理由はなんですか？みんなが使い慣れている物から変える理由は「有名な会社が使っていて＾＾」「他のチームが使っていて＾＾」とかではなくて、既存の物では解決出来ない問題を解決するアプローチになっていますか？ もし単純にキャッチアップしておきたいというレベルなら、あなたの趣味で作るシステムで運用する、では欲求を満たせませんか？ 同じようなプロダクトは他にもあると思いますが、そのプロダクトで無ければいけない理由はなんですか？ まだ新しいプロダクトだった場合、あなたはそのコードを読んで、バグを報告して、必要であればパッチを書く覚悟を持っていますか？ あなたはチーム内でそのプロダクトの第一人者になる、という覚悟がありますか？他のメンバーへの啓蒙や情報共有を率先
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Inside pixiv's infrastructure〜application cluster side〜
インフラチームを持たない会社でのインフラ運用
今日から業務で使える17の運用系Linuxツール、そして円環の理