本番環境でcassandraの運用を開始してみた - joker1007’s diary
職場でcassandraの運用を開始したので、選定理由とか運用してみて得た知見や所感等を書いてみようと思う。 (まだ十分に知見を得たとは良い難いので、間違った印象を得ていたり、より良いオペレーションに気付いていない可能性があります。) cassandraの採用理由 そもそもの目的はホットデータの書き込み先としての利用です。要件としては以下の様なものがあります。 エンドユーザー端末の数に比例するので、書き込みのスケーラビリティが必要 書き込みデータは更新される 一件単位、もしくは数秒単位の短かいサイクルでバッファチャンクを書き込む必要がある prestoで読み込める (最悪connectorは書いてもいいが、できれば避けたい) 一度に数百万件ぐらいまで読み込む可能性があるので、それなりに読み込みもスケールして欲しいし、レンジスキャンにもある程度効率が求められる。 元々、データ加工で潰しが効く
Cassandra Conference in Tokyoに行ってきた « ボーダーレスライフ
楽天で開催された Cassandra Conference in Tokyo に参加してきました。多くのセッションがありましたが、楽天での採用事例が聞ける最後のセッションに参加しました。実はCassandraに関して、前提知識をほとんど持っていなかったので、自分が正しい理解をしたのか不安ではありますが、、実際に採用し得られたノウハウの紹介や、不具合をオープンソースへフィードバックしているというお話はおもしろかったです。 全体を通して思ったのは、これはCassandraに限った話ではないですが、ノウハウを持たない状態での採用はリスクが高いということです。そして、そのリスクをカバーするために以下の様に失敗の可能性を下げるための準備、失敗した時に迅速に復旧させる為の準備までも意識する必要があると思いました。 設計フェーズではCassandraを意識したクエリやスキーマにする。 テストフェーズでな
C* Summit 2013: Cassandra at Instagram by Rick Branson
Speaker: Rick Branson, Infrastructure Engineer at Instagram Cassandra is a critical part of Instagram's large scale site infrastructure that supports more than 100 million active users. This talk is a practical deep dive into data models, systems architecture, and challenges encountered during the implementation process.
Cassandra 2.0 に CAS が入るとか入らないとか - kuenishi's blog
CASSANDRA-5062でCAS (Compare and Swap) を入れようという話になっているらしく、一体どんなすごいアトミックブロードキャストを使うのか気になっていた。どういうことなのだろうとスレッドをナナメ読みしてみたのだが…議論の流れとしては カウンターだけじゃなくてCASほしいよねAPIとして ZooKeeperのロック使うのがシンプルでいんじゃね？ いやいやサーバーの種類増やすとかあり得ないし 基本方針は、コーディネーターみたいなのをレプリカセット毎に決めてそこから Chain Replication ぽく コーディネーターどうやって決める やっぱPaxosじゃね？ 再実装ヤダよZAB使おうよZKの実装あるよ （なんかプロトコル上の理由があって）やっぱPaxos実装するしかないか… となって、結局 Jonathan Ellis が Paxos を素で実装してしまった模
『cassandra運用監視小ネタ集』
はじめまして。サービスインフラというチームに所属している@oranieと申します。前回の弊社 佐野からCassandra芸人による他のネタも・・・という話があったのでこれ幸いとCassandraネタでお茶を濁そうと思っています。そもそも他にもネタを持っているエンジニアがいる中で僕に執筆依頼を出す時点で、なんて節操の無い寛容な人達だとビックリしました。多分ダーツかなんかで決めたんだと思います。 入社以来、なぜか弊社でデファクトとして使われているデータストアのMySQLにもほとんど触らず、ひたすらCassandra運用とか他には仕事チャット上で一人だけ勝手に盛り上あがって麻呂のAAを貼りつけたり等の社内ピエロ雑用をやっています。おかげさまでエキサイティングな日々を毎日送る事が出来た為、酒の量が一時期増えたのと多少は小ネタを覚えたのでまだ運用していない方に少しでも運用・監視周りのお役に立てれば幸
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
C* Summit 2013: Cassandra at Instagram
Cassandra Summit 2013 Keynote
Cassandra summit-2013
Vector Database for Scalable Generative AI | DataStax