Netflix のデータパイプラインを読み解きたい - ブログ・ア・ラ・クレーム
Netflix はマイクロサービスアーキテクチャ界においてプロダクションで成功例を積んでいる、いわば大先輩だと思われます。 彼らは数多くのイベント登壇や techblog の記事、 GitHub 上による OSS の公開を行っており、それらからアーキテクチャやその変遷を垣間見ることができると考えています。 本記事では筆者が最近悩んでいる、マイクロサービス前提の世界でのログ収集基盤において、 Netflix の様々な事例を調べた結果をつらつら書いていこうと思います。 あらかじめ本記事は正確性を担保しておらず、あくまで筆者個人が調べることができた範囲での記述に留まることをお断りさせていただきます。 Suro: 分散データパイプライン 2015 年くらいにメンテが止まってしまったのですが、分散データパイプラインをうたう Suro というソフトウェアが存在しました。 Suro に関しては解説記事も
Revisiting 1 Million Writes per second
by Christos Kalantzis In an article we posted in November 2011, Benchmarking Cassandra Scalability on AWS — Over a million writes per second, we showed how Cassandra (C*) scales linearly as you add more nodes to a cluster. With the advent of new EC2 instance types, we decided to revisit this test. Unlike the initial post, we were not interested in proving C*’s scalability. Instead, we were looking
Cassandraのストレージエンジンを入れ替えて高速化した「Rocksandra」、Instagramがオープンソースで公開。Javaのガベージコレクションによる遅延を大幅に解消
Cassandraのストレージエンジンを入れ替えて高速化した「Rocksandra」、Instagramがオープンソースで公開。Javaのガベージコレクションによる遅延を大幅に解消 Instagramは、NoSQLデータベースのCassandraで発生していたJavaのガベージコレクションに起因する遅延を解消し、高速化した改良版Cassandraをオープンソースで公開したと発表しました。 ストレージエンジンとしてキーバリューストアの「RocksDB」を用いたことから、同社はこの改良版Cassandraを「Rocksandra」と呼んでいます。 JavaのガベージコレクションがCassandraの遅延を発生させている 同社がRocksandraの開発に至った経緯は、エンジニアブログ「Open-sourcing a 10x reduction in Apache Cassandra tail
Making Cassandra Perform as a TSDB | SignalFx
SignalFx is built on many open source projects, including Elasticsearch, Kafka, Zookeeper, and Docker, which help us deal with the massive scale and performance requirements of doing streaming analytics and high resolution monitoring for customers like Yelp. This post is a little bit about SignalFx, but mostly about Cassandra and how we write data to it. The kind of data that SignalFx processes is
Cassandra Data Modeling Best Practices, Part 2
In the first part, we covered a few fundamental practices and walked through a detailed example to help you get started with Cassandra data model design. You can follow Part 2 without reading Part 1, but I recommend glancing over the terms and conventions I’m using. If you’re new to Cassandra, I urge you to read Part 1. September 2014 Update: Readers should note that this article describes data mo
ここにハマった！DynamoDB - Technology Topics by Brains
はじめまして。Impulse開発チームの木村です。 今回は、Amazon DynamoDBを、 Apache Cassandraと同じように扱おうとした際に、ハマった点とその解決策を紹介します。 なお、DynamoDBの操作には、AWS SDK for JavaScript (Node.js)を使用しています。 テーブル定義編 テーブルをまとめる機能がない 複合primary keyに使える属性は、最大で2つ 日付・時刻型がない NS/SS/BS型は、配列ではない AttributeDefinitionsにkey属性以外を入れてはならない データ取得編 Range属性のみのkey条件指定はできない SQL(ライクな)文が使えない Expressionに、数値や文字列を直接書けない Range属性に対して2つの条件を指定できない Expressionには、含めてはならない予約語がある 一度に
Apache Cassandraについて
Apache CassandraのスケーラブルなオープンソースNoSQLデータベースの機能をインストール、構成、および使用する方法についての開発者および管理者向けのドキュメント。 Apache Cassandra™は非常にスケーラブルなオープンソースNoSQLデータベースです。Cassandraは複数のデータ・センターやクラウドにまたがる大量の構造化データ、半構造化データ、および非構造化データを管理するのに最適です。Cassandraは、多数のコモディティ・サーバーを使用して継続的可用性、リニアなスケーラビリティ、および簡潔な運用を実現し、単一障害点がなく、柔軟性を最大限に高め応答時間を迅速化するために設計された強力なデータ・モデルを備えています。 Cassandraの仕組み Cassandraの規模に合わせて構築されるアーキテクチャーは、ペタバイトの情報および1秒あたり数千の同時ユーザー
Cyanite — Cyanite Hidden Coffin documentation
Cyanite¶ Cyanite is a daemon which provides services to store and retrieve timeseries data. It aims to be compatible with the Graphite eco-system. Cyanite stores timeseries data in Apache Cassandra by default and focuses on the following aspects: Scalability By relying on Apache Cassandra, Cyanite is able to provide highly available, elastic, and low-latency time-series storage. Compatibility The
Cassandra 3.0
Apache Cassandra 3.0 is the next major release - these slides show a preliminary outline of some features new to Cassandra 3.0.
Monitoring at Spotify: Introducing Heroic - Spotify Engineering
This is the second part in a series about Monitoring at Spotify. In the previous post I discussed our history of operational monitoring. In this part I’ll be presenting Heroic, our scalable time series database which is now free software. Heroic is our in-house time series database. We built it to address the challenges we were facing with near real-time data collection and presentation at scale.
NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど
NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど NoSQLデータベースの代表的なソフトウェアの1つ、Cassandraへの注目が高まっています。米アップルは昨年、iCloudなどに保存されている10ペタバイトものデータを7万5000ノードで構成されるCassandraで運用していることを明らかにし、Netflixでも2500ノードで420テラバイトのデータを運用していることを発表するなど、大型の事例が相次いで発表されました（これらはApache CassandraのWebサイトのトップページで紹介されています）。 さらにグローバルで金融事業を展開するINGグループもオンライン決済システムにCassandraを採用、国内ではERPベンダのワークスアプリケーションが開発したERPの「HUE」でCassandraを採用す
Time Series Databases Discussion Notes
Time Series Databases Discussion Notes A couple of weeks ago at Gophercon, a few of us got together at a table to discuss time series databases. Specifically, we were interested in talking about time series storage. The group included Jason Moiron (@jmoiron), Paul Dix (@pauldix), Ben Johnson (@benbjohnson), Julius Volz (@juliusvolz), and others representing companies and projects such as Datadog,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cassandra write throughput and scalability
https://academy.datastax.com/resources/apache-cassandra%25E3%2581%25AE%25E6%25A9%259F%25E8%2583%25BD%25E3%2581%258A%25E3%2582%2588%25E3%2581%25B3%25E3%2582%25A2%25E3%2583%25BC%25E3%2582%25AD%25E3%2583%2586%25E3%2582%25AF%25E3%2583%2581%25E3%2583%25A3%25E3
Cassandra Summit 2014: Cyanite — Better Graphite Storage with Apache Cassandra
Netflixは218台のCassandraノード再起動にどう対処したのか
Ask HN: What DB to use for huge time series? | Hacker News
Cassandra導入事例と現場視点での苦労したポイント cassandra summit2014jpn
『Cassandraのデータ設計で注意していること』
このページを見るには、ログインまたは登録してください