mixi大規模障害について - mixi engineer blog

こんにちは。システム本部技術部たんぽぽGの森本です 先日のmixi大規模障害についてのブログです。 はじめにお断りしておきますが、弊社CTOがtwitterで公開した以上の情報はまだ得られておりません。 twitterでは書ききれなかった細部を補足してみたいと思います 現状判明しているのは以下の点です memcachedに大量の接続・切断を行うとmemcachedプロセスが突然終了することがある memcachedには異常時に終了するフローもあるが、同時に出力されるはずのエラーログは出ていなかった coreも出力されていなかった テスト環境にて追試を行ったところ、なんどか再現させることができましたが、確実に発生する条件は未だ不明です。 障害時の memcachedのバージョンは1.4.4, libeventのバージョンは1.3bです memcached の起動オプションは以下のとおり ./

[kentosho]

自爆上げw

[hiro_y]

mixiのmemcachedの障害調査

[stealthinu]

activeperlに反応しようとしたが、もうすっかりみんなに反応され終わった後でくやしいいいぃ

[rawwell]

* memcached.c:main()にある event_base_loop から抜けていた 通常はここで無限ループするはず * event_base_loop()中の event_haveevents(base) が false を返していた * event_haveevents()で base->event_count が0になったため return (base->event_count > 0

[rokujyouhitoma]

ActivePerl吹いた.

[at_yasu]

ん？activeperlで騒いでるけど、クライアントがwindowsなだけじゃないの？？？

[pokutuna]

#!/usr/local/bin/activeperl !?!?!?!

[kamipo]

#!/usr/local/bin/activeperl

[tilfin]

正常として終了してしまうのであれば、とりあえず根治するまではwatchdog仕込んでおく、自分ならば。

[wasai]

障害の情報開示はいいんですけど、結局「確実な再現方法と原因究明に向けて調査を行っていきます」って社内では解決できていないんですね。

[nasunori]

"#!/usr/local/bin/activeperl" 自由だなあｗ てかmixiはActivePerlで動いていたのか。

[tailtame]

activeperl反応(｀・ω・´)

[hmabu]

> 頑張ってね

[wideangle]

mixiがすきになった

[se_tsu_na]

　不安定がデフォのアプリのレストランでサラダを作っていたら、リアルタイムで陥落して焦りましたｗｗ

[K-Ono]

ちくしょう、いま松屋で食ってた豚バラバーベキュー定食返せｗｗｗ

[utd_sn3781]

ところでこういうブログを英語で書けば海外から情報が寄せられたりするんじゃないのか。技術者の英語の使い所はこういう時かもしれない。

[raydive]

「/usr/local/bin/activeperl」wwwwww

[kudzu_naoki]

シャレのわかるmixi

[tyru]

#!/usr/local/bin/activeperl

[ukidousan]

真面目なエントリーかと思ったら恐ろしい罠があった

[syanbi]

mixiで発生したmemcachedの異常終了にともなうエントリ。

[staticlayer]

activeperl ｗｗｗｗｗｗｗｗｗｗｗｗｗ

[mmuuishikawa]

こうしてオープンソースのソフトは磨きがかかるわけだ

[koba04]

勉強になったし、こういうセンス好き。ActivePerl!

[mkusunok]

この情報開示は素晴らしい。更に競合他社が再現して解決策をTwitterで提案し合うことも素晴らしい

[kana0355]

activeperl(笑)．

[taueda]

ActivePerlに突っ込んではいけないらしい。

[t_yano]

さりげなくネタをしこんで来たか

[ks1234_1234]

解明の裏には、オープンソース化によるバザール式な大量の協力者がいたそうな。そんだけ使われているという事例として。