Happy Elements Labs: HEKK流ソーシャルゲームのアプリ構成
エンジニアの草苅（@kusakari）です。 Happy Elements株式会社（以下、HEKK）では、モバイル向けのソーシャルゲームに注力して開発を行っています（PCアプリは中国の Happy Elements Ltd. で開発しています）。 HEKKでは全社的にサーバーサイドのプログラミング言語を Ruby で統一しており、フレームワークは Ruby on Rails を使用しています。 データストレージには Cassandra と MySQL を併用しており、スケールする必要のあるデータ（ユーザーデータ）は Cassandra、マスターデータ（例えばアイテム情報）は MySQL に保存するという形で区別しています。 HEKKで開発しているソーシャルゲームの典型的なリクエストフローは、次の図のようなものです。 Apache Cassandra は facebook で開発された大規模
CassandraのMemtableについて – Rest Term
引き続きCassandraについて調査中で、今回はCassandraの内部構造のひとつ、Memtableについて。 Cassandraでの書き込み操作はまずディスク上のCommitLog(書き込み操作のログ)に対して行われ、それからメモリ上のMemtableと呼ばれる構造体に対して書き込まれます。Memtableの構造は以下のようになっていて、ColumnFamily毎に保持されています。Key の列の Token は書き込み要求時にデータを保持するノードを決める際に計算されるものです。 Memtable関連の設定について conf/storage-conf.xml にMemtable関連の設定項目があります。これらはMemtableがディスクにフラッシュされる(ディスク上のSSTableに非同期で書き込まれる)までの種々のしきい値を設定しています。 ・ MemtableThroughpu
nodetoolでcassandraが落ちた - もちおのWEBアプリ開発日記
Cassandraの試験をやっているのですが クラスター全体で3000万件程データを貯めこんでました。 クラスターと言ってますが２台構成です。 で、 $ nodetool -h localhost -p 9160 tpstatsって打ったらノード全部（２台）とも落ちました。 ・・・ はい。 片方のノードはそのままで起動出来たのですが もう片方が上がらない。。。 多分メモリだろうなーって事で起動時のオプションと設定ファイルを修正。 [ cassandra.in.sh ] -Xms512M -Xmx2Gデフォルトは256Mの1G [ storage-conf.xml ] 1024 512 で起動できました。 ただこれでもnodetool使うにはメモリが足りない様で エラー出まくってます。 引き続き調査。 突っ込み大歓迎です。 [追記] なんかどうにもならなかったので全ノードをKILL -9 X
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Cassandra運用TIPS（決戦前夜編） - 夜の Discovery
Cassandraの運用前に設定しておきたいTIPSです。 cassandra.in.shのXms, Xmxを設定する データ量にもよりますが、基本的には多ければ多いほど良いと思います。 また、（Cassandra専用サーバーであれば）XmsはXmxと同じ値にしておくのが良いと思います。 bin/cassandra.in.sh JVM_OPTS=" \ -ea \ -Xms16G \ -Xmx16G \ （省略） cassandra.in.shにulimitを設定する 負荷が高くなった際に too many open files エラーが出る場合があるため、JVM_OPTS の前あたりに、ulimit を追加します。（ulimitはデフォルト1024） bin/cassandra.in.sh ulimit -n 32768 JVM_OPTS=" \ -ea \ -Xms16G \ -Xmx
ウノウラボ Unoh Labs: 今からはじめるCassandra入門
こんにちわ、7月に入社したばかりの@emorinsです。 題名の通りですが分散データベース『Apache Cassandra』を紹介したいと思います。 少し前はHadoop(とHBase)と比較されることの多かったCassandraですが、最近はHadoopの人気に押されつつあるようにも感じます。 しかし、CassandraとHadoopは特徴が異なり、よく言われるのがCassandraはリアルタイム処理に向き、一貫性のかわりに可用性を重視し、またHadoopとは違って単一障害点もありません。 今日はそんなHadoopとは違った魅力のある分散データベース『Apache Cassandra』をはじめてみましょう。 目次 Cassandraとは アーキテクチャ Cassandraの特徴 コンシステンシレベル データモデル MemtableとSSTable セットアップ storage-conf
Twitter、MySQLデータベースからCassandraに移行
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます TwitterがMySQLデータベースからCassandraに移行する。同社エンジニアRyan King氏が米国時間2月23日、MyNoSQLのインタビューに応じ、決定に至るまでに検討した内容などを明らかにした。記事によると、同社はクラスタ化したMySQLサーバとメモリキャッシュシステムを運用してきたが、データ量の拡大に伴い、運用管理にあたる人件費の拡大に悩まされるようになってきたという。そのため、高可用性を保ちながら、成長に伴う作業を自動化する方法を模索した。
分散データベースの「Cassandra」がApacheのトップレベルプロジェクトに | OSDN Magazine
オープンソースの分散データベース管理システムApache Cassandra Projectは2月18日、Apache Software Foundationのトップレベルプロジェクト（TLP）として承認されたことを発表した。 Cassandraは米Facebookが開発したデータベース技術で、2008年にオープンソースプロジェクトとなった。Facebookはオープンソース化にあたってコードをASFに寄贈、これまでインキュベータプロジェクトとしてホスティングされていた。 Amazonが開発する分散データベースシステム「Dynamo」の完全な分散設計と、Googleが開発する分散データベースシステム「BigTable」のColumnFamilyベースデータモデルを合わせ、拡張性の高い第2世代の分散データベース開発を目指す。CassandraはFacebookのほか、Rackspace、Dig
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラエンジニアのためのcassandra入門
http://agilecatcloud.com/2010/02/10/cassandra-%E5%88%86%E6%95%A3%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%81%A7%E3%81%AE%E5%89%8A%E9%99%A4%E3%81%A8%E3%81%AF%EF%BC%9F-cassandra-nosql/