第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
CassandraとHBaseの比較して入門するNoSQL
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
HBaseの概要とアーキテクチャ
はじめに ネットワークに接続されたセンサ機器の普及により、IoT（Internet of Things）が注目を集めています。IoTでは様々なセンサ機器が膨大なデータを生成するため、システムが管理するデータ量は急激に増加しています。このような膨大なデータを管理するためのデータストアとして、RDBと比較して高い性能とスケーラビリティを持つNoSQLが注目を集めています。 「Apache HBase」（以降、HBase）はNoSQLの1つで、センサ機器が生成する時系列データを管理するための有力なデータストアとして注目されています。本連載では、HBaseを用いたシステム設計のノウハウと、1,000万個のスマートメータから収集したデータによる性能検証の結果を紹介します。 今回は、まずNoSQLにおけるHBaseの位置付けを説明し、その後でHBaseの概要とアーキテクチャについて説明します。 NoS
Cassandra nodetool repairの挙動について教えて貰ったのでまとめ - oranie's blog
題名そのまま。repairの挙動をdatastaxのドキュメント読んでも良く分からない、ヽ(｀Д´#)ﾉ ﾑｷｰ!!となっている所をまたも@yukimさんに教えて貰いました。 なので忘れないようにメモです。 nodetool repairとは nodetool --helpで出力されている使い方は以下の通り repair [keyspace] [cfnames] - Repair one or more column family (use -pr to repair only the first range returned by the partitioner) 直訳すると一つ以上のcolumn familyを修復します。-prオプションを付けて実行するとパーティショナーの初めのレンジだけrepairを実行しますこの直訳だけではなんのこっちゃですね。 repairを実行する目的 rep
Cassandra のデータ構造 - Qiita
Cassandra の Column Family は、全体としては以下のような2次元のMapのような構造をしています。 上記の RowKey は CQL では Partition Keyと呼ばれていて、この Partition Key 単位でノードにデータが配置されます。 また、CQLでは主キーかつPartition Keyでない ColumnKey をClustering Columnと呼んでいます (名前の通り、あるPartition中でこのキーでKVの塊をつくるから)。 単一パーティションにread/write が大量に発生すると、特定のノードの負荷が上がることになります。 負荷分散を考慮してPartition Keyを決める必要があります。 refs: http://ameblo.jp/principia-ca/entry-11886808914.html CQL で作ったデータ
列指向データベースとは？ | AWS
リレーショナルデータベースがデータ行の保存向けに最適化され、通常はトランザクション型アプリケーション用であるのに対し、列指向データベースはデータ列の高速な取得向けに最適化され、通常は分析アプリケーションに使用されます。データベーステーブルの列指向ストレージは、総ディスク I/O の要件が大幅に緩和され、ディスクからロードする必要のあるデータ量が減少することから、分析クエリのパフォーマンスにおいて重要な要因になります。 列指向データベースは、他の NoSQL データベースと同様に、低コストなハードウェアの分散クラスターを使用してスケール "アウト" することでスループットを向上させることができ、データウェアハウスやビッグデータ処理に最適です。
List of Time Series Databases
List of Time Series Databases Updated: Dec 2019 This is not an exhaustive list. I am no longer actively maintaining this list. Open source These are either time series databases or general-purpose databases that work well with time series. Some are layers on top of existing databases. Aerospike High performance, in-memory, NoSQL Akumuli Written in C++ Query language based on JSON over HTTP Can be
分散システムの限界について知ろう
↓↓↓↓訂正あります。↓↓↓↓ 2018/07/02に株式会社エフコード社内で行われた勉強会のスライドです。 訂正版(随時更新中): https://docs.google.com/presentation/d/15HOMfAbtdWwO48njcB8IdkN3kVAMu3wsmZo0O3S-f_4/edit?usp=sharing 専門家による資料・専門家向けの資料ではありません。自分自身で学習し、論文・文献等を読解してまとめた内容となります。間違い等あるかもしれませんが、あれば是非コメント頂ければと思います。 【訂正事項】 スライド16: 誤：たった一つのプロセスが故障しただけでも有限時間で合意できない 正：たった一つのプロセスが故障しうるだけでも有限時間で合意できない スライド20: 誤: 重要: あるschedule σ1, σ2 がdisjoint (nodeが被ってない) なら
Cassandraのストレージエンジンを入れ替えて高速化した「Rocksandra」、Instagramがオープンソースで公開。Javaのガベージコレクションによる遅延を大幅に解消
Cassandraのストレージエンジンを入れ替えて高速化した「Rocksandra」、Instagramがオープンソースで公開。Javaのガベージコレクションによる遅延を大幅に解消 Instagramは、NoSQLデータベースのCassandraで発生していたJavaのガベージコレクションに起因する遅延を解消し、高速化した改良版Cassandraをオープンソースで公開したと発表しました。 ストレージエンジンとしてキーバリューストアの「RocksDB」を用いたことから、同社はこの改良版Cassandraを「Rocksandra」と呼んでいます。 JavaのガベージコレクションがCassandraの遅延を発生させている 同社がRocksandraの開発に至った経緯は、エンジニアブログ「Open-sourcing a 10x reduction in Apache Cassandra tail
ファイルシステムは、KVSなのか？（HBase VS CassandraからわかるKVSの仕組み） - Qiita
この記事はリクルートライフスタイル Advent Calendar 2016の25日目の記事です。 データエンジニアリンググループ・ゆるふわAwesome機械学習エンジニアのtomomotoです。主にデータ分析や機械学習を中心に、データ活用を推進したり、システム開発したり、フリー素材になったりしています。 本記事では、今更ではありますが、KVSの仕組み概要について、HBaseとCassandraを例にして紹介したいと思います。（仕事、クリスマス、結婚記念日、何も関係ないです！） KVSとは そもそもKVSとは、なんでしょうか？名前の通りKeyValueStoreであることが条件だとすると、KeyからValueをとってくるDataBaseということになりますが、それで十分なのでしょうか？そうするとファイル名(Key)でファイル情報(Value)をとってくるファイルシステムもKVSということに
Publickey － Enterprise IT × Cloud Computing × Web Technology / Blog
バックナンバー 2021年 1月 2月 3月 4月 5月 6月 7月 8月 2020年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 2019年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 2018年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 2017年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 2016年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 2015年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 2014年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 2013年 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 20
日本 Cassandra コミュニティー
CassandraDay-Tokyo開催日本Cassandraコミュニティが協力するDatastax社主催の「CassandraDay-Tokyo」が6月1日にウェスティンホテル東京にて開催されます。詳細及び申込は以下のURLをご参照くださ...
分散システムの一貫性に関する動向について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How is Cassandra a columnar database?
GitHub - apache/cassandra: Mirror of Apache Cassandra
Raft:Understandable Distributed Consensus