BOOK: WEB+DB Press TITLE: 常駐型サーバーのデバッグ手法(ドラフト版) AUTHOR: (株)プリファードインフラストラクチャー 太田一樹 ＊注: この文章はWEB+DB PRESS Vol.48に掲載された記事のドラフト版です はじめに 今回はデバッグ関連特集ということで、常駐型サーバープログラムを作成する際のハマりどころやそれに対する解析方法・解析ツール・対策を、実際の経験を交えながら紹介したいと思います。 筆者は(株)プリファードインフラストラクチャーでインメモリ分散検索エンジン「Sedue (セデュー)」を開発しています。モバイル向け検索エンジン「エフルート」や、2008/11/6にリニューアルされました「はてなブックマーク2」などの検索バックエンドとして使われております。 この検索エンジンはいくつかの常駐型サーバープログラムから構成されており

Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス本番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの本番自体は400～500人の参加でした。 まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基本概念 ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法 パラメーター/パフォーマンスチュー

Twinado = Tornado + async-python-twitter 2009-09-23 (Wed) 0:37 Uncategorized Twinadoという携帯向けのTwitterクライアントを書いてみました。日常的に使えるレベルにはなっていると思います。 Twinado: 携帯端末向けTwitterクライアント 特徴としては最近Facebookが公開したTornadoというフレームワークを使って、Twitter API呼び出しが全て非同期に行われている点です。なので、コネクション数が増えても高速に動くはずです。現状DoCoMo P905iでしか動作確認していません。 きっかけとしては、最近Perl界隈で非同期処理が流行っているのを見て、楽しそうだと思っていたところに、Tornadoが公開されたので、少し使ってみるかと思い立った事です。Tornadoについては以下を参考に

SOSP 2009適当まとめ 2009-08-24 (Mon) 4:39 Uncategorized システム系では最高峰の学会SOSPの最新の論文が公開されていたのを見つけたので、適当に流し読みしてみました。 SOSP 2009: Technical Programs 主に僕の興味の有るやつになります。無いのはリストにすら入ってないので、ご注意を。特にセキュリティ周りとか。しかしHadoopを利用した論文が結構多い。MapReduce流行り過ぎ。 - FAWN: A Fast Array of Wimpy Nodes 遅いCPUとFlashドライブを並べて低消費電力なストレージを作るというアーキテクチャ「FAWN」を提案。この上に「FAWN-KV」と呼ばれるKey-Value Storeを作成し、実験を行った。Chain-Replication、ノード追加時のプロトコル等が詳しく載って

BlueGeneのアーキテクチャ超適当まとめ 2009-06-13 (Sat) 13:28 ANL Intern 2009 私的メモエントリです。IBM製のスパコン、BlueGeneの特徴をまとめてみます。 以下参考URL。 IBM Research | Blue Gene An Overview of the BlueGene/L Supercomputer, SC2002 Toward Message Passing for a Million Processes: Characterizing MPI on a Massive Scale Blue Gene/P, ISC2009 Wikipedia: BlueGene 以下、特徴を箇条書き。 PowerPCベースのプロセッサ。BG/Lは700MHz, BG/Pは850MHz。各コアに1個ずつ、DoubleFPUが付属。BG/Pからは

インターン6週間経過 / BlueGenePツアー 2009-07-11 (Sat) 23:22 ANL Intern 2009 ついにBlueGene/P見て来ました。写真撮っても良いという事なので、遠慮なく撮りまくり。まずは全体像です。 ノードカード。4 core, 2G Memのノードになります。 ハーフラックボード。ノードカードが32枚ささります。合計128core。コモディティを使った場合との集積度の差はやはり凄いです(はてな1Uハーフサーバー)。お値段の問題が有りますけどねw ラック。ハーフラックボードが32枚刺さります。合計4096core。 nVidiaのGPUクラスタ。4ラック有りました。最近GPU流行ってるからなあ。 ストレージ。DataDirect Network社のものです。ラックに600個のドライブ(1Tのディスクを使えば600T)。6GB/s?(あやふや)ぐらい

Consensus Protocol 2009-08-25 (Tue) 7:29 研究 Consensus Protocolについて分かりやすいブログ記事が有ったので、メモ。Clouderaの方みたいです。 A Brief Tour of FLP Impossibility A brief history of Consensus, 2PC and Transaction Commit Consensus Protocols: Two-Phase Commit Consensus Protocols: Three-phase Commit Consensus with lossy links: Establishing a TCP connection Consensus Protocols: Paxos Consensus Protocols: A Paxos Implementatio

Flash Based Database Systems 2009-04-16 (Thu) 8:41 SSD Flash/SSD上のDatabase Systemsについての論文リストが有ったので、気になるものを読みました。2007, 2008年でどかっと来てますねえ。 http://www.cse.ust.hk/~yinanli/readinglist.html SSDのデバイス特性は語られる事がまだ少ないので、そのうちまとめてみようと思います。嬉しい事ばっかりじゃ無いんだよ、という事です。 特にSmall Writeが苦手だというのは知っておかないと、実際に使う上で危険な気がします (ログとか)。 Similar Posts: 上流工程? What Every Programmer Should Know About Memory FFTによる多倍長乗算 Older: WordPres

Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以

PNUTS Yahooの広域分散DB？まだ論文読んでないので間違ってたらすいません。 PNUTS - Platform for Nimble Universal Table Storage PNUTS: Yahoo!’s Hosted Data Serving Platform Data Challenges at Yahoo! DBは門外漢だけど、VLDBとSIGMODぐらいは目を通しておかないとなあと激しく反省。 SIGMOD 2008では、Facebookの分散ストレージCassandra、GoogleのMegaStore (BigTableの上に作られたTransactionManager)なんかも発表が有った模様。 GoogleAppEngineがBigTableを使ってるのにTransactionが有ったので「ん？」と思ったんだけど、こういうレイヤーを被せているのですね。 たし

cloudkickでAmazon EC2のインスタンスを手軽に監視 2009-03-28 (Sat) 16:04 Amazon EC2 EC2上にあるサーバーの監視をしたいけど、「そもそも監視用のサーバーどこに置くの?」「Nagiosの設定ファイル死んでほしい」ということでTechCrunchで紹介されていたcloudkick.comを使ってみました。 Cloudkickを使ってAmazonのWebサービスEC2をもっと簡単に使おう 以下の3ステップで監視開始。 ユーザー登録 Amazon EC2のアクセスキー、シークレットキー登録 インスタンスの監視方法にチェックを入れる (ping, https, http, sshをサポート) サーバーの応答が無くなるとメールが送られてきます。Webからコンソールも使えます。サーバーにタグを付けて管理する事も出来ます。Graphを書いてくれる機能も有

本日、kzk9.netをAmazon EC2上(1 Small Instance)に移行しました。 合わせて、今までブログツールとしてMovabileTypeを使用していたのを、WordPressに移行しました。以下のエントリが非常に参考になりました、ありがとうございます。 固定リンクを変えずにスムーズにMovableTypeからWordPressに移行するまでの作業ログ また、以下のテーマ・プラグインを使用させて頂いています。 wp.Vicuna Ext Vicuna Adapter - はてな系 FeedLocations - FeedURLの変更 まだ色々と調整中ですが、完全移行に向けて、ちまちまと作業して行きたいと思います。レスポンスの方ですが、少し気になりはしますが、E-Mobileで日常的に過ごしている自分としてはあまり気にならないレベルじゃないかと。 元々kzk9.netはM

Key-Value Store 勉強会を開催しました。 2009-02-26 (Thu) 3:08 勉強会 もう先週の金曜日になりますが、Key-Value Store勉強会というのを開きました。 既に素晴らしいまとめエントリが有りますので、詳細はこちらをご覧下さい。 Key-Value Store勉強会に行ってきました by katsumaさん Key-Value Store勉強会 by shudoさん はてなブックマーク「kvs」タグ UStream録画動画 by ichiiさん 日経BP社 中田さまには、草の根的勉強会にも関わらず、記事にして頂きました。有難うございます。 「キー・バリュー型データストア」開発者が大集合した夜 また、講師の方々に発表資料等をアップロードして頂いております。 末永さん: 全文検索エンジンgroongaをテストリリースしました 山田さん: About L

エンディアンフリーコード ssize_t write_data(const void *dat, size_t size) { char *p = (char*)dat; return write(fd, dat, size); } int overflow(int c) { return write_data(&c, 1) } たなかさんと必死で追った。 これは酷いバグでした...。

2008年まとめ 年末は時間が取れないので、もうまとめてしまいます。 今年は色々とアウトプット出来た年だったかなと。 まずコーディング。コミット数は目標としてた1000を突破して、合計1100ぐらいでした。去年は783です。意識的にコーディング時間を増やしていたので、増えるとは思っていたけど思ったより増えた。このペースを維持して行きたいですね。解析の結果、3月・6月・9月にバーストする事が判明しました。気候に左右されすぎ。 今年もあのsscmの時の経験が色々と生きたなあと本当に思った。YamaKenさんとjun0さん元気かなあ。 ネットワークの設定はPFIでDC借りたので、それに乗じてかなり色々覚えれた。L3 switchで色々遊んでみた。思えば去年はvlanとか名前しか知らん状態だったからなあ...。ひどい。LVSとかもついでに覚えた。今年はVMを覚えないと。 次は論文。卒論で英語論文を

SC08 参加記 ２週間ほど前になりますが、スーパーコンピューティング系で最高峰の学会であるSCに参加してきました。既にいくつか記事を挙げられている方々がいらっしゃいます。 SC08小柳レポート Cheer! High Performance Computing まず驚いたのは、SCは学会等いうよりはさしずめ展示会という雰囲気だったことです。幕張メッセみたいな会場をイメージして頂けると良いです。そこで各企業が色々な出展をしています。 またSCはTop500が発表される事でも有名です。今回はRoadRunnerというCellを積んだクラスターが１位でした。世界で初めて1ペタフロップスを達成したシステムです。展示フロアではラックが展示されていたので説明を聞いてきました。 RRはブレードサーバー群で構成されており、4ブレードで1ノードというシステムです (図)。合計約6000ノードです。4ブレー

tbb::parallel_sort oxyたんがstd::sort速くなったらいいなあと呟いていたので、Intel TBBを試してみた。 id:nishidakeisukeさんも最近書かれていましたね。 - インテル スレッディング・ビルディング・ブロック オライリーの本自体は４月ぐらいに読み終わっていたのだが、実際に試してなかったので試してみた。 ダウンロードして来てビルド。 pficore% wget "http://www.threadingbuildingblocks.org/uploads/77/111/2.1/tbb21_20080605oss_src.tgz" pficore% tar vzxf tbb21_20080605oss_src.tgz pficore% cd tbb21_20080605oss/ pficore% make pficore% sudo make

Thread Base MapReduce 2007-01-09 (Tue) 0:29 Uncategorized 並列計算フレームワークを作っている人を見てたら自分もなんか作りたくなって来たので、スレッドベースでGoogleのMapReduceを真似て見ました。1マシン用のMapReduceといった所ですかね。 以下にソースコードが有ります。適当に煮るなり焼くなりしてください。 ソースコード ワードカウントが以下のようなコードで記述できます。 [code] class WordCounter : public Mapper { public: virtual void Map(const MapInput& input) { string text = input.value(); istringstream iss(text); string word; while

Hadoopのインストールとサンプルプログラムの実行 2008-05-15 (Thu) 13:48 Hadoop CodeZineでのHadoop連載記事第二回が公開されました。 Hadoopのインストールとサンプルプログラムの実行 是非インストールして試してみてください。 最近、はてなの伊藤さんもHadoopをブログで取り上げて下さって、盛り上がりそうなので嬉しいです。しっかしid:naoyaの人気すげー。 MapReduce Hadoop Streaming 第3回は、ようやく分散環境での動作方法です。第4回はHadoopを使ったサービス構築の具体例を取り上げてみたいということで、blogeye.jpを作られた大倉さんにバトンタッチします。 blogeye.jpはAmazon S3, EC2上で構築されたシステムで、著者推定の部分にHadoopが用いられているらしいです。Hadoopで