同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
PING
PING [message] Available since: 1.0.0 Time complexity: O(1) ACL categories: @fast, @connection, Returns PONG if no argument is provided, otherwise return a copy of the argument as a bulk. This command is useful for: Testing whether a connection is still alive. Verifying the server's ability to serve data - an error is returned when this isn't the case (e.g., during load from persistence or accessi
Redis RDB Dump File Format
Redis RDB File Format Redis *.rdb file is a binary representation of the in-memory store. This binary file is sufficient to completely restore Redis' state. The rdb file format is optimized for fast read and writes. Where possible LZF compression is used to reduce the file size. In general, objects are prefixed with their lengths, so before reading the object you know exactly how much memory to al
RedisでKEYSコマンドによる障害を抑止するプラクティス
Redis の KEYS コマンドは危険 Redis には Key を全走査して検索する KEYS コマンドがあります。 開発・運用中、稀に良く Key を検索したい事象に出くわすのが「Redisあるある」なのですが この KEYS コマンドは、走査対象となる KEY 数に比例して Redis の処理をブロッキングします。 Redis にまだ不慣れなとき、開発環境では KEY 数が少なく問題にならず、本番環境で KEYS コマンドを発行してしまい障害を起こしてしまった方が少なくないのではないでしょうか？ コマンド名をリネームして KEYS の誤爆を抑止する Redis には設定値に rename-command があります。 redis/redis.conf at 6.0 · redis/redis · GitHub 下記のように redis.conf に追記して、 Redis を再起動し
MONITOR
MONITOR Available since: 1.0.0 Time complexity: ACL categories: @admin, @slow, @dangerous, MONITOR is a debugging command that streams back every command processed by the Redis server. It can help in understanding what is happening to the database. This command can both be used via redis-cli and via telnet. The ability to see all the requests processed by the server is useful in order to spot bugs
RubyでRedis使ってて便利だったgem - motsatのブログ
・redis-objectsの「Redis::Lock」 redis-objectsがまず便利なんだけど、その中で「Redis::Lock」。 処理が平行して実行されないようにしたい時など、処理の一部をロックしたい時に役立つ。 これは、redis公式の http://redis.io/commands/setnx これに則ってる。 簡単にいうと、SETNX（セットされていたかどうかで0or1が帰る処理）でキーを取得して、取得されていたら解放されるまでポーリング（もしくはタイムアウトを設定してタイムアウトさせる） require 'redis-objects' @lock = Redis::Lock.new('lock-key', timeout:0.1) begin @lock.lock do # lockの最初に"setnx" "lock-key"を実行し、lockを獲得 sleep(1
Redisに耐久性が加わったAmazon MemoryDB for Redisが登場 | DevelopersIO
MemoryDB はElastiCache の約1.5倍、Aurora の約1.2倍と若干高価です。 耐久性を重視するMemoryDBはElastiCacheで言うところの「クラスターモード」しか存在しないため、{シャード数} x {ノード数/シャード} x {インスタンス利用費} 分の利用費が発生する点にもご注意ください。 最後に Redisを永続的なデータストアとしても使える Amazon MemoryDB for Redis が爆誕しました。 データ耐久性のトレードオフとして書き込み速度は低下したものの、読み取りの速さはまさにRedisです。 クライアントはRedisコマンドを投げるだけで、MemoryDBが良しなにやってくれるため、使い勝手が良さそうです。 今後はDynamodB+DAXの代替として検討したり、RDB+キャッシュRedisなシステムを MemoryDB に集約すると
Mackerelでは計画メンテナンスをどう実施しているか？ RedisをElastiCacheに移行した裏側をご紹介 - Hatena Developer Blog
こんにちは。MackerelチームSREのid:heleeenです。 Mackerelでは、2020年10月14日に計画メンテナンスを実施しました。今回は告知ブログに記載の通り、Mackerelが利用しているRedisをAmazon ElastiCache for Redis（以下、ElastiCache）へ移行しました。 本記事では、この10月の計画停止の裏側を紹介します。 どのようにElastiCacheへ移行するか 大半のRedisを無停止で移行 最後はElastiCacheへのオンライン移行を使用 メンテナンスに向けたさまざまな準備 メンテナンス手順書のチーム内レビュー メンテンス実施中の役割分担 なぜタイムキーパーが必要になったのか リモートで停止メンテナンスを実施する方法 検証環境を利用して事前にリハーサルも実施 Redisを安全に効率よく切り替えるために 参照するRedisを
CloudFormationでElasticache for redisの設定をする - パパエンジニアのアウトプット帳
CloudFormationで非クラスターモード（マルチAZ)の構成を試してみた。 プライマリーノード：1、リードレプリカ：2の3ノード構成でプライベートなVPCに配置する想定。 最終的には下記の公式ドキュメントのサンプルオペレーションをCloudFormation対応した感じ。 docs.aws.amazon.com 次のオペレーションでは、3 つのノード、1 つのプライマリ、2 つのレプリカを持つ Redis (クラスターモードが無効) レプリケーショングループ new-group を作成します。 一部抜粋だけどこんな感じになった。 ECacheSecurityGroup: Type: "AWS::EC2::SecurityGroup" Properties: GroupName: !Ref ECacheSecurityGroupName GroupDescription: Secur
Redis の Slave (Replica) の Expire は 4.0 RC3 以降信用して良くなっている - その手の平は尻もつかめるさ
maedama.hatenablog.com trapezoid.hatenablog.com 上記のブログには今から6年ほど前の当時の情報が記されていますが，Redis 4.0 RC3 以降の Slave (replica) の Expire は信用して良くなっているようです． Redis の公式ドキュメント (Replication – Redis) を参照すると， However note that writable replicas before version 4.0 were incapable of expiring keys with a time to live set. This means that if you use EXPIRE or other commands that set a maximum TTL for a key, the key will le
サーバレスRedisを提供する「Lambda Store」登場。無料で256MB、25同時接続まで利用可能
キーバリューストアを高速なインメモリデータベースとして提供するRedisを、AWS上のマネージドデータベースとして提供する新サービス「Lambda Store」が登場しました。提供元は同名の新興ベンダLambda Storeで、現在AWS上で利用可能です。 AWS上のマネージドなRedisデータベースは、すでにAWSが提供する「Amazon ElastiCache」や、RedisLabsが提供する「Redis Enterprise」などがあります。 今回登場したLambda Storeの特長は、その名前が示すとおりRedisをサーバレスモデルで提供するため、使った分だけ料金が発生する従量課金になっている点にあります。これにより、月額料金のほかのサービスよりも圧倒的に安いと同社は主張。 さらに、Lambda Storeを利用しているサービスが成長し、大量のアクセスが発生するようになった場合、
システム開発で得たRedis利用ノウハウ | フューチャー技術ブログ
こんにちは。初投稿です。 2012年新卒入社の竹内です。入社当時を振り返るとOracle10g,11gを良く利用していおり、データモデリングなどテーブル設計が好きで、2018年4月ぐらいまでRDBとバッチに浸ってました。 さて、現在プロジェクトでRedisを使っているのですが、いままでRDB人間だっただけにKVSやRedisならではの特徴に四苦八苦してます。 苦しんだ分、色々な知見を得ることができているので、その内容をご紹介します！ 対象者 Redisの業務システム導入を検討している方 RDBとRedisの違いを知りたい方 現場的なRedisの利用方法を知りたい方 書いてないこと データ型やコマンドなど、HelloWorld的に公式ドキュメントを見て得られる情報 インストールなど、Redisを利用できるまでの手順 フェイルオーバーやバックアップをはじめとする運用に関する内容 データ永続化に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis CLI
GitHub - hirose31/redis-traffic-stats: Redis query analyzer for counting, traffic stats by command
troubleshooting/redis_monitoring.md · 9c8076a172300ca9816210ace08a8e488efcf9b2 · gitlab-com / Runbooks · GitLab
DBSIZE
OBJECT IDLETIME
A simple script to print the size of all your Redis keys.
redis-cli でメモリ使用量の多いキーを探すには `--memkeys` を使う
GitHub - nateware/redis-objects: Map Redis types directly to Ruby objects
