はじめまして。サービスインフラというチームに所属している@oranieと申します。前回の弊社 佐野からCassandra芸人による他のネタも・・・という話があったのでこれ幸いとCassandraネタでお茶を濁そうと思っています。そもそも他にもネタを持っているエンジニアがいる中で僕に執筆依頼を出す時点で、なんて節操の無い寛容な人達だとビックリしました。多分ダーツかなんかで決めたんだと思います。 入社以来、なぜか弊社でデファクトとして使われているデータストアのMySQLにもほとんど触らず、ひたすらCassandra運用とか他には仕事チャット上で一人だけ勝手に盛り上あがって麻呂のAAを貼りつけたり等の社内ピエロ雑用をやっています。おかげさまでエキサイティングな日々を毎日送る事が出来た為、酒の量が一時期増えたのと多少は小ネタを覚えたのでまだ運用していない方に少しでも運用・監視周りのお役に立てれば幸
※2013/03/05に追記 Yuki Morishita(@yukim)さんより以下のエントリについてアンサーを貰いました!!! https://gist.github.com/yukim/5086476 - なんか呟いたら「m9(^Д^)プギャー」な意味なのかRTとかがついたので、まとめておこう。きっと「これやれば解決するのに・・・プークスクス!」って教えて貰えるに違いない。半分くらい僕の技術力の低さから来ているのが多いので、Cassandra特有の問題から外れている気がするけど気にしない。 前提条件として HW:CPU12core メモリ64GB Disk:SSDやHDD(RAID10)を使用(詳細な構成は割愛) Cassandra 1.1.5 JDK 1.6.0_33-1 Simple Strategyを使用 1ノード辺り100〜200GB程度のデータを想定 クラスタの数とかは
Attach APIを調べながら、Javaクラス実行時に、MBeanServerにserviceを登録するやり方を調べてみました。*1 そのついでに、Cassandraの健康チェックもできないものかと思い、さくらVPSに設定してあるCassandraにJMXで繋げてみました。 前提 Cassandraのバージョンは、0.7.4を利用している。 iptablesで外部からアクセスできるようにポートに穴を開けた。 iptablesの設定 本当は、sshトンネリングで試そうと思ったがどうやらjmxは、「-Dcom.sun.management.jmxremote.port=$JMX_PORT」で 指定したポート番号以外にも任意で、ポート番号を利用するみたいです。仕方ないので、以下の様に許可をだしました。 $vi /etc/sysconfig/iptables -A RH-Firewall-1-I
クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています(NoSQL=Not Only SQL。命名の経緯はこちら)。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも(ツイートデータの格納には使われないようですが、それ以外の用途で)利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr
データモデルハッカソンとあったのでびくびくしながら参加しました。 会場 楽天タワー。 参加者は23人。Macが5人、PCが11人。紙が4人。 主催の冨田さん 今までRDBMSを使っていた人がCassandraに乗り換えるときのデータ設計について。いろいろ違うので苦労している。みんなどうやってるのかを聞きたい。 事前にお題が出ていたらしい。Googleグループのメール配信を無効にしていたので、見逃してた・・・。 西島さん Cassandraでログ解析したりしている。リリース予定の実際のシステムのスキーマを紹介。加工する時間がなかったのそのままと^^; Google Docsで複数人でガチャガチャ同時編集して設計している。 QA 保存したログはどうやって使ってる?→アクセス解析のサービスをしている。 リアルタイム?バッチ処理?→ Keyを日時にしてfrom-to検索してもまともに使える?→同時
前回でCassandraへのアクセスするコードの基本をおさえました。今回解説するのは以下の2点です。 CassandraのAPIの全体像 Cassandraにデータを投入するコードの詳細 3つの分類からAPIの全体像をおさえる 第1回でもご紹介しましたが、CassandraのクライアントAPIはThriftによって自動生成されます。APIは非常にシンプルなものが幾つかあるだけで、覚えるのもさほど難しくはありません。本連載ではその中からよく使うものに特化してご紹介していきます。 以下にCassandraのAPIを、データ挿入系・データ検索系・認証/管理系の3つに分類してまとめてみました。まずはこれらにひと通り目を通してみてください。 データ挿入/更新/削除のAPI データ挿入、更新、削除のAPIは以下の表のとおりです。現実的によく使う中心的なAPIはbatch_mutate、removeの2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く