Paxosアルゴリズム覚え書き – OpenGroove
分散システムとともに語られることが多いPaxosアルゴリズムについて、触りだけでもまとめておこうかと。 もともとは、以下の記事からPaxosという用語を知ったのがきっかけ。Hadoop NameNode QJM HAの実装でそのアルゴリズムが使われている。 CDH4.1におけるクォーラムベースジャーナリング ちなみに、Hadoop NameNode QJM HAの実装に必要なJournalNodeはPaxosを使っているが、ZooKeeperはPaxosじゃなくてZAB（ZooKeeper Atomic Broadcast）である、ってのがちょっとややこしい。 以下覚え書き。 Paxosの由来は、ギリシャのPaxos島で行われていたとされる議会の逸話 Google Chubbyで有名になった Google App Engineのデータストアでも途中からPaxosを採用（参考） ZooKee
デフォルト検索エンジンをDuckDuckGoにした – OpenGroove
プライバシーセーフな検索エンジンとしてDuckDuckGoというのがある、としばらく前に知ってたまに使っていたのだが、ふと思い立ってiPhone/Safariから自宅Mac、職場のPCすべてのブラウザで、デフォルト検索エンジンをDuckDuckGoにした。 DuckDuckGoの紹介ブログでは、機能的にはまだ物足りないし、メインの検索エンジンはやはりGoogleを使うと思います、といった内容が大半だった。自分もしばらくはそう思っていて、DuckDuckGoの使用状況は限定的だった。 しかしある時、神の声が聞こえたのである。 「そんなチマチマした使い方していたって、世界は変えられねぇんだよ！！」 と。 自分一人の選択が大きく世界を変えられるはずがないことくらい承知している。けれども、どんなツールやプロダクトも一度使い倒すくらいしないとその本質はつかめないし、掘り下げれば見えなかった何かが見え
Hadoop – 完全分散モードの設計メモとYARNの仕様 – OpenGroove
（追記）若干認識違いがあったので修正しました。 前回に引き続き、頭を整理するためHadoop設計周りの覚え書きなど記載。多分鬼のように追記する。書いているうちに枝分かれしてきたので、次世代MapReduce／YARNの話も。HadoopディストリビューションはCDH4の利用を前提としている。 マスタノードに必要なプロセス NameNode SecondaryNamenode （起動は任意） JobTracker (YARNではResouceManager) HistoryServer (CDH4) スレーブノードに必要なプロセス DataNode TaskTracker (YARNではNodeManager) 設計・構築上の注意 マスタノードとスレーブノードにおいてすべて同じパッケージを入れても問題ないが、予期しない事故を防ぐため、各マシンで不要なサービスは起動させないようにしておく。 マ
MySQLバイナリログの仕様 – OpenGroove
MySQLのバイナリログについて、うっすらまとめてみようかと。 RDBMSで更新ログまたはトランザクションログと呼ばれているログの機能は、 MySQLでは「バイナリログ」が担っている。 これらの内容は、「CREATE TABLE文やINSERT文といったデータベースの中身を 変更する操作を行った際の操作履歴を追跡できる形で記録した情報」であり、 コミットされたトランザクションの情報が保存される。 トランザクションログの中身はRDBMSによって異なり、「論理ロギング」と 「物理ロギング」がある。「論理ロギング」はSQL文レベルで変更履歴を管理し、 「物理ロギング」は変更があったデータブロックをバイナリイメージとして管理する。 MySQLのバイナリログは論理ロギングだが、OracleのREDOログやInnoDBログは 物理ロギングである。 バイナリログはデフォルトでは作成されないので、my.c
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
