タグ

cassandraに関するt10471のブックマーク (31)

  • 『Cassandraのデータ設計で注意していること』

    Ameba Smart Phone PlatformAPI開発を担当している狭間と申します。今回はAmeba Smart Phone Platformで使用しているCassandraのデータ設計時に気をつけていることを実際に起きた事例を交えてお話したいと思います。 Cassandraのverstionは1.1.5を使用していて、100台構成のクラスタを組んでいます。ピーク帯ではおよそ50000write/sec、40000read/secのリクエストを処理していて、およそ45TBのデータを保持しています。そのような条件下で発生した事例と対処方法を紹介させていただきます。

    『Cassandraのデータ設計で注意していること』
  • Cassandraをバックエンドにして掲示板を作る | Ore no homepage

    iPhone5sを買った。やっぱ動きが軽快でいいね。auを長らく使ってるんだけど、2年前に買ったAndroidが動きが遅いわ電池はすぐ減るわでクソだったんだよね。やっと買い替えることができて感無量。いい買い物したよ。 さて、久々のCassandra。同僚が新卒向けの課題として「Cassandraを構築してそれをバックエンドにして掲示板アプリケーションを作れ」という面白課題を出していたのでおれもやってみた。ただのソース晒し。 0. ソース Simple BBS https://github.com/hiroakis/simple-bbs-cassandra 1. メモ 機能仕様 スレッドは更新日時が新しい順にソート スレッド数上限は101 スレッド数上限を超えると更新日時がもっとも古いスレッドから削除 スレッドへの投稿数の上限は1001 スレッドへの投稿数の上限を超えた投稿は、エラーにはせず

  • Cassandra 2.0が公開、軽量トランザクションやCQL強化で生産性向上

    Cassandra 2.0が公開、軽量トランザクションやCQL強化で生産性向上:Stormとの統合も容易に Apache Software Foundationは、ビッグデータ用分散型データベース管理システムのメジャーアップデートとなる「Apache Cassandra 2.0」を公開した。軽量トランザクションやトリガーなどの新機能に加え、クエリ言語「Cassandra Query Language(CQL)」の強化などを通じて生産性の向上を図った。 Apache Software Foundation(ASF)は2013年9月4日、ビッグデータ用分散型データベース管理システム(DBMS)のメジャーアップデートとなる「Apache Cassandra 2.0」を公開した。軽量トランザクションやトリガーなどの新機能に加え、クエリ言語「Cassandra Query Language(CQL)

    Cassandra 2.0が公開、軽量トランザクションやCQL強化で生産性向上
    t10471
    t10471 2013/09/10
    もうNoSQLではなくなっている
  • ここ最近のCassandra運用の色々まとめメモ - oranie's blog

    まあそんな内容でも誰かの役に立つかもしれないのでメモを書いておく。体系だったまとめでも無いのでそんなレベルで。 運用とか http://ameblo.jp/principia-ca/entry-11514557323.html こんなブログを書いたので、そっちを見てみて下さい(ステマ テストスクリプトとか。 https://github.com/oranie/oranie/blob/master/cassandra/cassandra_test_data.pl こんな感じで、僕の場合perlでCassandra::Lite使うと楽だった。 Cassandra::Liteメモ # Insert it. $c->put($columnFamily, $key, {title => 'testing title', body => '...'}); And get data: # Get a c

    ここ最近のCassandra運用の色々まとめメモ - oranie's blog
  • cassandra1.2系defaultのcassandra.yamlを1.1系とちょっと比較した - oranie's blog

    タイトルそのまま。今1.1系使っていて1.2.5へのアップデートを検討していて、configが結構変わっているらしいので、それらを調べてみた。 基は今使っているとdiff取って名前変わっている奴や追加されている奴だけ記載。「>」ってついている奴は1.1系の時の奴。 http://www.datastax.com/docs/1.2/configuration/node_configuration 上記内容をGoogle翻訳して適当に見ただけなので、あんまり信用しない方が良いかも。あと、yamlに明示的に書いていないけど追加されている項目で1.2系からdefault 有効になっている奴もあるような気がするけど、そこはカバーしていないので調べて下さい>< hinted_handoff_throttle_in_kb: 1024 hinted handoffの転送速度 max_hints_deli

    cassandra1.2系defaultのcassandra.yamlを1.1系とちょっと比較した - oranie's blog
  • CQL3 in depth

    Yuki MorishitaApache Cassandra Committer, Software Engineer at DataStax

    CQL3 in depth
  • NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012(後編)

    NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012(後編) 代表的なNoSQLデータベースの1つ「Apache Cassandra」をテーマにしたイベント「Cassandra Summit 2012」が、8月8日にサンタクララで開催されました。 (記事は「NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012(後編)」の続きです) 最新版Cassandra 1.1で追加された機能とは Cassandraはどう進化してきたか。昨年1月の0.7が最初のモダンなバージョンだったというのが私の考えだ。0.8では分散カウンターを実装し、セルフチューニング要素を強めた。1.0は、1.0を宣言したこと、そして圧縮機能を備えるなどの前進があった。 そして現在のバージョンが4月にリリースしたCassandra 1.

    NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012(後編)
  • Cassandraクラスタと、DataStax OpsCenterの構築 | さぶみっと!JAPAN

    Cassandraのクラスタ環境を構築して、DataStax OpsCenterでデータの管理ができるようにします。 Cassandraの設定方法のサンプルを載せているblogなどは沢山あるのですが、旧バージョンのCassandraを試している記事が多くて、頻繁にバージョンアップするCassandraに情報が追いついていません。 ここでは、新しくCassandraを試してみたい方に参考になればと考えて記事を書きました。 また、DataStax OpsCenterというツールを利用して、データの可視化にも挑戦しています。 Cassandraとは 公式ページ:http://cassandra.apache.org 正式名称はApache Cassandraです。 Wikiより引用 『Cassandraは、非常に高いスケーラビリティーを持ち、イベンチュアルコンシステントな分散システム構造のKVS

    Cassandraクラスタと、DataStax OpsCenterの構築 | さぶみっと!JAPAN
  • Cassandra Data Modeling Best Practices, Part 1

    This is the first in a series of posts on Cassandra data modeling, implementation, operations, and related practices that guide our Cassandra utilization at eBay. Some of these best practices we’ve learned from public forums, many are new to us, and a few still are arguable and could benefit from further experience. September 2014 Update: Readers should note that this article describes data modeli

  • Amazon.co.jp: Cassandra: Eben Hewitt (著), 大谷晋平 (翻訳), 小林隆 (翻訳): 本

    Amazon.co.jp: Cassandra: Eben Hewitt (著), 大谷晋平 (翻訳), 小林隆 (翻訳): 本
    t10471
    t10471 2011/12/14
    0.8版か・・・どうなんだろ?
  • 第1回 NoSQL、そしてCassandraとは | gihyo.jp

    NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF(単一故障点)を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach

    第1回 NoSQL、そしてCassandraとは | gihyo.jp
  • Indexing in Cassandra

    Presentation on Cassandra indexing techniques at Cassandra Summit SF 2011. See video at http://blip.tv/datastax/indexing-in-cassandra-5495633

    Indexing in Cassandra
  • m7a.me - m7a リソースおよび情報

    This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

  • 第1回HBaseとCassandraの討論会のメモ - ひしだまの変更履歴

    HBaseとCassandra討論会のつっこみー。 (豊月) 2010-11-08 10:51:55 >HBaseはキーが偏ると一部のノードだけに負荷がかかる これは「Cassandraは、キーが偏ると一部のノードだけに負荷が掛かる」です。 HBaseの場合は、リージョンファイル毎に分散させているので、リージョンファイルの指定サイズを越えてまで大きくなったら自動で分割されて、別のノードへ移ります。 Cassandraの場合、キーのハッシュを元に担当を決めるので巧くキーの生成ルールを考えないと特定ノードに負荷が集中する事になります。 >「このトークンはこのリング」 「Ring上で、このTokenはこのノード」という情報を管理している、が正しいです。 >Cassandraは構築は楽だが、故障時が面倒(リバランスに時間がかかる) Cassandraに於いて面倒なのは、故障時じゃないです。 故障後

    第1回HBaseとCassandraの討論会のメモ - ひしだまの変更履歴
  • GitHub - mkoppanen/php-pdo_cassandra: PDO Driver for the Cassandra CQL API

  • Cassandra Conference in Tokyoに行ってきた « ボーダーレスライフ

    楽天で開催された Cassandra Conference in Tokyo に参加してきました。多くのセッションがありましたが、楽天での採用事例が聞ける最後のセッションに参加しました。実はCassandraに関して、前提知識をほとんど持っていなかったので、自分が正しい理解をしたのか不安ではありますが、、実際に採用し得られたノウハウの紹介や、不具合をオープンソースへフィードバックしているというお話はおもしろかったです。 全体を通して思ったのは、これはCassandraに限った話ではないですが、ノウハウを持たない状態での採用はリスクが高いということです。そして、そのリスクをカバーするために以下の様に失敗の可能性を下げるための準備、失敗した時に迅速に復旧させる為の準備までも意識する必要があると思いました。 設計フェーズではCassandraを意識したクエリやスキーマにする。 テストフェーズでな

  • Cassandra Conference in Tokyo 感想

    昨日行ってきた「Cassandra Conference in Tokyo」について、あまりきれいにまとまっていませんが、感想を上げておきます。 公式サイト:http://ec-cube.ec-orange.jp/lp/cassandra-conference-in-tokyo/ しっかり文章にまとめられればと思ったのですが、今週は少々忙しく…。文章の精査をやるくらいだったらさっさと内容だけあげちゃえ!という事になりました。 読みづらい文章が多々出てくるかと思いますので、先に謝っておきます。ごめんなさい! 最初は時系列順に、各プレゼンの感想。最後に全体の感想デス。 後半、内容が薄くなっているのは、諸事情により集中力が切れてしまいあまり内容を把握できなかった所為です…orz。体調は万全に!これ大事。 !注意! 各講演を聴いて、自分がどう感じたか?を主題に書いています。 スピーカーの方々が実際

  • Blog Alpha Networking: Cassandraのインストール、設定からRubyによる操作までのメモ

    2010年11月7日日曜日 Cassandraのインストール、設定からRubyによる操作までのメモ Tweet ◆ Cassandraのデータモデル ・キースペース(SQLでいうところのデータベース) 複数のカラムファミリを持つ 設定ファイルに指定 ・カラムファミリ(SQLでいうところのテーブル) カラムまたはスーパーカラムの集合 設定ファイルに指定 ・スーパーカラム 複数カラムの集合 設定は動的 ・カラム Cassandraのデータ最小単位 設定は動的 タイムスタンプを持つ ◆ ダウンロード # cd /usr/local/src # wget http://www.meisei-u.ac.jp/mirror/apache/dist/cassandra/0.6.6/apache-cassandra-$VERSION-bin.tar.gz # tar zx

  • Cassandraを使った高速ログ検索システムの構築

    ◆ 目的 サーバに届いたメールログをNoSQLであるCassandra(カサンドラ)のデータベースに格納させ、 高速に検索できるようにする。事前にCassandraの予備知識があると理解しやすいだろう。 SQLではないので、テーブルに格納されたデータを柔軟にselectすることはできない。 NoSQLはkey-value形式である。 そのため設計時に何から何を求めるか決めておく必要がある。 今回は次の目的を達成できるようにする。 a) fromアドレスと日時からのメールログの検索 ⇒ fromアドレスと日時をキーにするわけである b) 日時からのメールログの検索 ⇒ 日時をキーにするわけである 追記 ここではcassandra-0.6を使っているのだが、既に0.8までアップデートされているようだ。 しかも大幅にいろいろと変更があるため、具体的な手順は参考にならないかもしれない。 ここではT

  • doc/cql/CQL.textile at trunk from apache/cassandra - GitHub