Redisの25倍のスループットDragonflyを試してみる
インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット
Mackerelでは計画メンテナンスをどう実施しているか？ RedisをElastiCacheに移行した裏側をご紹介 - Hatena Developer Blog
こんにちは。MackerelチームSREのid:heleeenです。 Mackerelでは、2020年10月14日に計画メンテナンスを実施しました。今回は告知ブログに記載の通り、Mackerelが利用しているRedisをAmazon ElastiCache for Redis（以下、ElastiCache）へ移行しました。 本記事では、この10月の計画停止の裏側を紹介します。 どのようにElastiCacheへ移行するか 大半のRedisを無停止で移行 最後はElastiCacheへのオンライン移行を使用 メンテナンスに向けたさまざまな準備 メンテナンス手順書のチーム内レビュー メンテンス実施中の役割分担 なぜタイムキーパーが必要になったのか リモートで停止メンテナンスを実施する方法 検証環境を利用して事前にリハーサルも実施 Redisを安全に効率よく切り替えるために 参照するRedisを
サーバレスRedisを提供する「Lambda Store」登場。無料で256MB、25同時接続まで利用可能
キーバリューストアを高速なインメモリデータベースとして提供するRedisを、AWS上のマネージドデータベースとして提供する新サービス「Lambda Store」が登場しました。提供元は同名の新興ベンダLambda Storeで、現在AWS上で利用可能です。 AWS上のマネージドなRedisデータベースは、すでにAWSが提供する「Amazon ElastiCache」や、RedisLabsが提供する「Redis Enterprise」などがあります。 今回登場したLambda Storeの特長は、その名前が示すとおりRedisをサーバレスモデルで提供するため、使った分だけ料金が発生する従量課金になっている点にあります。これにより、月額料金のほかのサービスよりも圧倒的に安いと同社は主張。 さらに、Lambda Storeを利用しているサービスが成長し、大量のアクセスが発生するようになった場合、
[Laravel] エンドポイントが自動で変わるHeroku Redisに適応する - Qiita
こちらの記事に書いてありますが、HerokuのRedisはたまにアップデートされた節にHostとポートが変わってしまうことがあります。 https://qiita.com/usagizmo/items/7c5a338e339ebffd7eba アップデートされると、自動で環境変数REDIS_URLの値を書き換えますが、 Laravelは通常、HostやPostなどをわけて書くため、アップデートされるとある日突然Redisつながらなくなります。 そこで、Herokuが面倒見てくれるREDIS_URLに合わせて、Redisの接続方法を変更しましょう！ configの変更 まず、こちらがデフォルトのRedisのconfig 'redis' => [ 'client' => 'predis', 'default' => [ 'host' => env('REDIS_HOST', '127.0.0.
![[Laravel] エンドポイントが自動で変わるHeroku Redisに適応する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a893e36ce2132adf019e0f816ca1118ffd83e55e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCTGFyYXZlbCU1RCUyMCVFMyU4MiVBOCVFMyU4MyVCMyVFMyU4MyU4OSVFMyU4MyU5RCVFMyU4MiVBNCVFMyU4MyVCMyVFMyU4MyU4OCVFMyU4MSU4QyVFOCU4NyVBQSVFNSU4QiU5NSVFMyU4MSVBNyVFNSVBNCU4OSVFMyU4MiU4RiVFMyU4MiU4Qkhlcm9rdSUyMFJlZGlzJUUzJTgxJUFCJUU5JTgxJUE5JUU1JUJGJTlDJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jNjVkOGJhN2JlYTI3NWY0ODU4Zjk3ZDZjNjU0YWRhZA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc2F3YWRhc2hvdGEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTk3ZDJmZTcyMjMyMzEwNWJmZWVkMzhkNTY2MjEwNjI4%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3De5903ff7b09dd700c17217eec71cd6fe)
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発 オープンソースソフトウェアの開発元がクラウドベンダへの不満を表明し、商用サービス化を制限するライセンス変更を行う例が続いています。 高速なインメモリデータストアを実現するオープンソースソフトウェアとして知られる「Redis」の開発元「Redis Labs」は、2018年8月に同社が開発したRedis拡張モジュールに関するライセンスの変更を発表しました（Redis本体のライセンスはBSDライセンスのまま）。拡張モジュールには、全文検索を行うRediSearchなどが含まれています。 変更後のライセンスでは、クラウドベンダによる商用サービスでの利用を制限するものとなっています。 ライセンス変更を発表した記事「Redis’ License
TeamSQL - Cross-platform SQL Client Built for Collaboration
Looking for an Amazon Redshift client? TeamSQL has retired and is not available for download anymore. You can The world's first and the only query and management tool built for Amazon Redshift. Get DataRow for Amazon Redshift Hello, TeamSQL has been a great platform to experiment with modern UI and powerful features to help you manage your popular databases with collaborative features. Over two ye
FluentdとRedisを使ったランキング機能の実装 - SmartNews Engineering Blog
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい…
「ランキング」のマイクロサービスを作った話
FiNCではマイクロサービスでの開発をすすめており、バックエンドサービスの数は20を超えています。 今回はFiNCの数あるマイクロサービスのうち、FiNCアプリ内の「ランキング機能」のサービスを作った時の設計思想や実装について書きたいと思います。マイクロサービス化の一ケースとして、参考になる点があれば幸いです。 SummaryアプリケーションはRuby on Rails, データストアにMySQLとRedis (ElastiCache) を利用しています。記事中では以下のような点に言及します。 サービス設計 … サービスに持たせる責務、サービスの切り分け方データの同期(サービス間のイベント連携)の方法Redisを使ったランキングの実装RedisとMySQLを併用する設計と実装ビジネス要件今回、ビジネスサイドから話があったのは以下の二つでした。 歩数を用いたランキングをやりたい。 (短期目標
GoogleがフルマネージドなRedis、「Cloud Memorystore」をGoogle Cloud Platformで提供
GoogleがフルマネージドなRedis、「Cloud Memorystore」をGoogle Cloud Platformで提供 RedisはNoSQLのインメモリデータベースもしくは分散インメモリキャッシュなどとして利用されるオープンソースのソフトウェアです。 その名の通り基本的にすべてのデータがメモリ上に保持されるため、データの書き込み、読み出しなどの処理が非常に高速に実行できるだけでなく、複数のインスタンスを組み合わせて分散処理させることができるため、処理するデータの大きさや負荷に合わせてスケールさせることもができることも大きな特徴です。 そのため、リアルタイムに近い高速な反応が要求されるアプリケーションのバックエンドやキャッシュなどとして利用されています。 インスタンスは最大300GB、12Gbpsのスループットまでサポート 今回Googleが発表したCloud Memoryst
ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips
近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大きいので内部の 取得時間差はトータルで考えると多くの場合誤差です. 特に RDB の主キーのみで取得できるようなデータを Redis にキャッシュすることに メリットはありません. キャッシュするコードを書くコストの方が高くつきます. キャッシュするのは R
真剣にRedisを使ってみようという気持ちになったのでRedisについて知っていることを書く - なんかかきたい
年末ですね。更新がおろそかになっていたので、たまにはちゃんとした話をしたいなと思い、前々から書こうと思っていたRedisの話を書いてみました。 検証に使用したRedisは3.2ですので、新しくバージョンが変わると以下の話は変わってくるかもしれませんが今のところそのようなことはしばらくなさそうです。 以下長々とRedisを本当に使えるように設定したり調べたり検証したりした内容を書いていきます。 いまさらですが Redisは構造データを持てるオンメモリデータベースサーバで、RDBとは違いますがHashやListなどのデータ構造を記録することができる高速なストレージサーバです。 オンメモリDBでHashを持つことができるので、KVSのように扱われることもあるのですが、memcachedと比較すると機能は多く、レプリケーションやAtomicなデータ処理なども可能です。 導入の前に Redisに限っ
Redisを使う時は見積の二倍の容量必要だよね、という話 - Qiita
[15487] 04 Aug 21:02:37.523 * 1 changes in 900 seconds. Saving... [15487] 04 Aug 21:02:37.523 # Can't save in background: fork: Cannot allocate memory redis-cli infoしても、使用してるメモリは全体の半分ちょっとだったし、空きは十分にある… 答えは Redis Administration http://redis.io/topics/admin に書いてありました。 原因と解決策 redisのバックアップが走る際、おそらく現状使用している量と同じだけのallocateを要求しているために、redis自体はメモリ使用が50%強だとしても、バックアッププロセスが落ちてしまう模様。 解決は簡単で、Redis Administratio
RedisサーバのCPU負荷対策パターン - ゆううきブログ
Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R
プロダクションで2年間Redis Clusterを運用してみて - Qiita
TL;DR Redis Clusterで運用は本当に楽になった でも、Redis 4.0は不安 Redis Clusterで一番怖いのはDisk IO 特にフェイルオーバーなどのFull Resync時 Redisとは？ 高速なインメモリ型のKVS シングルスレッド 豊富なデータ構造(次ページにて詳細) 豊富な操作(次々ページにて詳細） 豊富なデータ構造 key-value型 hash型(key-field-value) set型(集合演算ができる) sorted set型(スコア付きset) 任意の型(redis modules機能) 豊富な操作 インクリメントや和集合などなど lua scriptも実行できちゃう シングルスレッドだからatomicな処理になる Redisの問題点 writeがスケールしない 気軽に停止できない サーバー再起動やバージョンアップなど Redis Clus
Redis Cluster のリシャーディングとorphaned masterの話 - CyberAgent エンジニア Advent Calendar 2014 2日目
redis_cluster.md Redis Cluster のリシャーディングとorphaned masterの話 （2019/04 追記 こちらの情報は非常に古く、またRC版での結果となります。記録として残していますが参考になさらないでください） CyberAgent エンジニア Advent Calendar 2014 2日目です。 昨日に引き続き、秋葉原ラボの柿島が担当します。仕事ではHadoopクラスタの運用を中心に、秋葉原ラボのインフラ/ミドルウェアまわりを担当しています。今年はHadoop、mesos、Aerospikeと分散型のシステムを触る機会が多い1年でした。 この記事のテーマはRedis Clusterです。Redis Clusterが使えるようになるRedis 3.0.0は10月にRC1がリリースされました。2015年のQ1にstableリリースを目指しているようで
Redisのクラスタリング - Qiita
制限(引っかかった箇所) マスター3つ以上必要 2つまでだとエラーでクラスタ作成できない。 ノード削除はスロットを持たない場合でないとできない。 cluster reshard で別マスタへ移動しておく必要がある。 ← テスト系でめんどい場合は cluster reset で。 cluster reset はデータがあるとできない。 あらかじめ flushall などで中身を飛ばしておく。 エンドポイント指定はクライアントから見える必要がある。 例えば開発環境で 127.0.0.1:7001 などと指定して別マシンからアクセスすると MOVED のエラーが出る。 外部から認識されるIPとポートで指定する必要がある。 設定 必要なものだけ抜粋 appendonly yes # アペンドログ必須 cluster-enabled yes cluster-config-file nodes.con
kubernetesでRedisClusterを構築してみた - Qiita
概要 kubernetesでredis cluster構築してみた備忘録 https://github.com/kelseyhightower/kubernetes-redis-cluster ほぼこちらをそのまま使っている Redis server version、3.2.0 データの永続化はしない redisクラスタ基本master×3にレプリカ用 slave×3 redis (loadbalancer) | |- [ redis-1(master) ] - [redis-4(slave)] |- [ redis-2(master) ] - [redis-5(slave)] |- [ redis-3(master) ] - [redis-6(slave)]
Redis 4.0の目玉機能解説 - Qiita
redis 4.0 GA release ついに昨日(2017/07/15)に、redis 4.0のstableがリリースされました。 今までのredisと何が変わったのか？というのを、軽くまとめたいと思います。 間違いなどありましたら、指摘いただけると幸いです。 前回のqiita記事 プロダクションで2年間RedisClusterを運用してみて release notes 一部抜粋すると Note that 4.0 is probably one of the most extreme releases of Redis ever made in terms of changes inside the internals: all the aggregated data types no longer use Redis Objects structures but directly S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scala x AWS Server Side Application Recipe
GitHub - cookeem/kubernetes-redis-cluster: How to build redis cluster on kubernetes