#cwt2013 Clouderaの小林 @d1ce_ によるHadoop構築・運用のポイントについてのスライドを公開しました。2013年度版ハードウェア選定、HA構成の考え方から、実際にサポートで直面した事例についても紹介しています
Hadoop Operations #cwt2013
#cwt2013 Clouderaの小林 @d1ce_ によるHadoop構築・運用のポイントについてのスライドを公開しました。2013年度版ハードウェア選定、HA構成の考え方から、実際にサポートで直面した事例についても紹介しています
ZooKeeperによる分散システム管理
ZooKeeperは、Apacheソフトウェア財団のオープンソースプロジェクトの1つで、大規模分散システムの協調動作を実現するツール。分散システムが協調動作するために必要なコア機能を提供することで、開発者の負荷を大幅に低減します。HiveやHadoopの新しいスケジューラであるYARNなど、多くのプロジェクト、企業、組織で利用されつつあります。分散システムの協調動作に頭を悩ませていた多くの開発者にとって福音となる、ZooKeeperを使った効果的な分散システムの管理手法、スマートな問題解決法を提示します。 まえがき I部 ZooKeeperのコンセプトと基本 1章 はじめに 1.1 ZooKeeperの使命 1.1.1 これまでZooKeeperなしでどうやってきたのか？ 1.1.2 ZooKeeperがしてくれないこと 1.1.3 Apacheプロジェクト 1.1.4 ZooKeeper
ZooKeeper
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Building distributed applications is difficult enough without having to coordinate the actions that make them work. This practical guide shows how Apache ZooKeeper helps you manage dis
ZooKeeper vs. Doozer vs. Etcd | devo.ps
While devo.ps is fast approaching a public release, the team has been dealing with an increasingly complex infrastructure. We more recently faced an interesting issue; how do you share configuration across a cluster of servers? More importantly, how do you do so in a resilient, secure, easily deployable and speedy fashion? That’s what got us to evaluate some of the options available out there; Zoo
Dynamic Reconfiguration of Apache ZooKeeper
Introduction to the Mysteries of ClickHouse Replication, By Robert Hodges and...Altinity Ltd
米Netflixがオープンソースポータルを開設、ZooKeeperライブラリを公開 | OSDN Magazine
映画やドラマのレンタル/ストリーミングを事業とする米Netflixは11月29日、自社のオープンソース活動を集積したポータルの開設をを発表した。同ポータルでは、「Apache ZooKeeper」ライブラリの「Curator」プロジェクトが公開されている。 ポータル内で最初に公開されたプロジェクトとなるCuratorは、Netflixが開発し、社内で利用しているZooKeeperライブラリ。ZooKeeprは分散アプリケーション向けの高性能コーディネーションサービスで、Javaで実装されたクライアントが提供されている。だがNetflixの開発者はこのクライアントについて、「正しく使用することが難しく、エラーが多い」など問題点をあげている。 Curatorは、ZooKeeperにバンドルされている一部のクラスを置き換えるcurator-client、ZooKeeperの利用を簡素化するハイレ
Twitter、分散リアルタイム処理システム「Storm」公開 | gihyo.jp
2011年9月18日、Twitterは分散リアルタイム処理システム「Storm」をオープンソースで公開しました。より正確に言うと、2011年7月に買収されたBackTypeのメンバーが買収以前より開発を進めていたものです。BackTypeはTwitterのつぶやきを解析するシステムを開発していたスタートアップ企業でHadoopのヘビーユーザでもありましたが、リアルタイム性の問題点を解消すべくStormの開発に至ったようです。ちなみに同じオープンソースの分散リアルタイム処理システムとして米Yahoo! が「S4」を公開していますが、Stormはデータを処理する信頼性の高さやAPIのシンプルさに違いがあります。 StormのアーキテクチャはHadoopと似通っており、クラスタはMaster-Workerパターンに基づいています。Masterノードには「Nimbus」、Workerノードには
http://www.osrg.net/accord/
Accord: A high-performance coordination service for write-intensive workloads Overview Accord is a high-performance coordination service like Apache ZooKeeper that uses Corosync Cluster Engine as a total-order messaging infrastructure. It features: Accord is a distributed, transactional, and fully-replicated (No SPoF) Key-Value Store with strong consistency. Accord can be scale-out up to tens of n
インフラエンジニアのためのCassandra情報 ZooKeeperその２：So-net Developer Blog：So-netブログ
ZooKeeperのプログラミングについては、以下のURLに簡単なチュートリアルが あります。 http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperTutorial.html 今回は、ここに載っているサンプルを使って、カウンターを実現してみます。 ZooKeeperはznodeと呼ばれるツリー構造のデータ構造を持っています。znodeのそれぞれに 対応するオブジェクト（または値）を保存することができます。znodeには、登録、更新時に 一意のバージョン番号が付与されるので、これを使うことで、CAS操作が実現できそうです。 そこで、「/app1/counter」というznodeを作成して、これにカウンター用の数値を代入、参照 するようにします。 カウントアップ時には、CAS操作を行っているので、複数プロセスからの同時書込み時でも値
ZooKeeper/ServiceLatencyOverview - Hadoop Wiki
ZooKeeper service latencies under various loads & configurations Author: Patrick Hunt (follow me on twitter) The intent of this document is to examine the performance of a typical ZooKeeper service while varying the load and available computing power. This is not an exhaustive test but meant to shed some light on the amount of load ZK can support for various (lower powered) hardware configurations
ヒマをみつけてWeb開発 | - Page not found
Zookeeperが、けっこう独自ルール多いので、忘れないようにメモ。英語のドキュメント読んで理解してるから、間違ってる可能性あり。ちなみに、.NETドライバでの場合です。 Zookeeperクラスのインスタンスは、何度も使いまわすことが可能 Zookeeperクラスのコンストラクタに渡す、セッションタイムアウト値は、あくまでも一回の通信におけるタイムアウト値であって、Zookeeperインスタンスをタイムアウト値以上の時間保持しても、インスタンスが使えなくなることはない Zookeeperクラスのコンストラクタに渡す、セッションタイムアウト値は、設定ファイルのtickTime値の２倍以上、２０倍以下でないといけない Zookeeperクラスのコンストラクタに渡すWatcherはデフォルトのウォッチャーであり、接続状態が変わる度にイベントが起こる、Zookeeperインスタンス生成時
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - etcd-io/etcd: Distributed reliable key-value store for the most critical data of a distributed system
ZooKeeper/ClusterMembership - Hadoop Wiki
Google Code Archive - Long-term storage for Google Code Project Hosting.
http://agilecatcloud.com/2010/02/19/apache-zookeeper-%E3%81%AB%E3%82%88%E3%82%8B%E5%88%86%E6%95%A3%E4%B8%A6%E5%88%97%E3%82%AD%E3%83%A5%E3%83%BC%E3%81%AE%E6%A7%8B%E7%AF%89-_1-hadoop-zookeeper/