同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
排他制御のためだけに Redis 渋々使ってませんか？データベース単独でアドバイザリーロックできるよ！
トランザクション分離レベルについての教養があったほうがこの記事の内容を理解しやすいため，必要に応じてまず以下を参照されたい。 背景 以前， Qiita で以下の記事を投稿した。今回の議題に直接的な関係はないが，関連している部分があるため引用する。 MySQL/Postgres とも， MVCC アーキテクチャの恩恵で， SELECT と UPDATE は基本的には競合しない。 単一レコードのシンプルな UPDATE でも排他ロックされ，排他ロック中のレコードへの UPDATE での変更操作は トランザクション分離レベルによらず ブロックされる。UPDATE 文に含まれる WHERE 句での検索もブロックされ，これはブロックされない SELECT による検索とは別扱いになる。 但し UPDATE 文の WHERE 句上で，更新対象をサブクエリの SELECT から自己参照している場合は例外。
【Laravel】Redisを使った閲覧数のランキング機能 - Qiita
キャッシュの管理にRedisを使って、ランキング機能をつくった際のメモです。 Laravel 5.8 Redis 環境は以下の通りです。 - laravel 5.8 - php 7.2 - predis 1.1 Redisのインストール Redisを使うためにRedisのPHP拡張をインストールします。Laravel 5.8 Redis ここではLaravelは5.8であるためpredisを使用しますが、'6.0'ではpredisは非推奨となっています。Laravel 6.x Redis なので6.0の場合はphpredisを使用しましょう。(本記事ではphpredisは扱いません) composerでpredisのインストール predis/predisパッケージをcomposerでインストールします。
phpredis チートシート - Qiita
今度isuconに参加するので、きっと使うであろう phpredis のチートシートを作ってみた。 名前が似ていてややこしいけど predis では無いのでご注意。 predisはphp実装のRedisクライアントで、今回のphpredisはc言語実装のより速いRedisクライアント。 Redisのデータ型 phpredis以前に、Redisの前提としてどんなデータ型があるのか頭に入れておきたい。 Redisには5種類のデータ型がある。 文字列型とハッシュ型さえ知っておけばだいたい事足りると思うけど、他の３つもわりと便利っぽい。 文字列型(String) リスト型(List): 双方向リスト、keyの持たないハッシュっていうか、配列みたいなやつって覚えればいいよ セット型(Set): 順不同の集合、値が重複しないようになっているので、重複のないリスト作るのに便利 ソート済みセット型(ZSe
【Docker Compose】設定内容を1行ずつ理解しながらLaravel環境構築（PHP-FPM、Nginx、MySQL、Redis） - Qiita
【Docker Compose】設定内容を1行ずつ理解しながらLaravel環境構築（PHP-FPM、Nginx、MySQL、Redis）PHPnginx初心者LaravelDocker はじめに この記事は、Docker入門シリーズ記事3本の3本目です。 Dockerで環境構築するための最低限の概念理解 Dockerで環境構築するための最低限のコマンドを一通り実践する 【Docker Compose】設定内容を1行ずつ理解しながらLaravel環境構築（PHP-FPM、Nginx、MySQL、Redis） また、WindowsでDockerを利用する際の重要な設定に関する記事もありますのでこちらもご確認ください。 WindowsでDockerを使う時、正しくファイル配置しないと激重になるので注意 概要 この記事の目的 この記事の目的は Docker Composeを利用してLaravel
Docker Nginx + PHP + MySQL + Redis な環境作った。 - かもメモ
Docker 一年生なので、雰囲気で作っています。 構成 /-- docker-compose.yml |- /web | |- /html … web root |- /mysql | |- Dockerfile | |- my.conf | |- /init | |- 1_dd.sql … DB 初期化 |- /nginx | |- nginx.conf | |- /log | |- access.log | |- error.log |- /php | |- Dockerfile | |- php.ini |- /redis docker-compose.yml version: '3' services: nginx: image: nginx:latest ports: - 8080:80 volumes: - ./nginx/nginx.conf:/etc/nginx/conf
CentOS7上のPHP7系にredisモジュールをインストール
CentOS7上のPHP7.1にredisモジュールをインストールする手順です。 CentOS7は以下で構築したものを使用しています。 DockerでCeontOS7上にPHP7.3+apache2を構築するDockerでCeontOS7上にPHP7.3+apache2を構築してブラウザでPHPファイルを表示します。Dockerのインストールが必要な方は以下を参照してください。Dockerfileの作成apache...pocketcode.net2020/07/15 redisモジュールのインストール gitからソースを元にmakeしてインストールします。 gitのインストールは以下を参考にしてください。 CentOS7にGitをyumとSourceの２つの方法でインストールするCentOS7にGitをインストールする方法です。yumでインストールする方法とSourceからインストールす
redisとphp間のセッション数削減
redisをphpから使っています。 $redis = new Redis(); $redis->connect('127.0.0.1', 6379); のようにredisにセッションを行うとき、phpプログラムが読み出される度にセッションは多くなっていきます。つまりアクセスが多いサイトでこのphpプログラムを実行する形ではセッション数がシステムキャパを超える可能性があります。 Redisとphpのセッションを張ったままで、新たに来たリクエストについては前に張ったセッションで行うという対応も聞いたことがあります。 実際どのような実装になるのでしょうか？もしくは別の方法もご存知であればご教示お願いします。
Redis Sentinelで自動フェイルオーバー - Qiita
この投稿は自分のブログ記事からRedis Sentinel関連の項目だけ抜粋したものです。追記事項があればブログの方に書いていきます。 「Redisの監視/分析系ツールまとめ」 http://rest-term.com/archives/3045/ Redis本家プロジェクトで開発されている、Redisサーバの死活監視/通知および自動フェイルオーバー機能を提供する管理サーバ(redis-sentinel)です。v2.4.16または2.6.0-rc6以降のバージョンから利用可能になりました。公式ドキュメントを参考にしつつ動作確認をします。 環境: CentOS 5.9 (x86_64), Redis 2.6.10 構成 ここでは2つのホストでSlaveを2プロセス、Sentinelを3プロセスの構成で試します。 Master db0:6379 Slave db0:6380, db1:6379
Redis Sentinelを運用してみたお話 | GMOメディア エンジニアブログ
こんにちは、宇津井です。 弊社ではゲソてんというゲームプラットフォームを運営しております。ゲソてんではサービスリリース当初から主にキャッシュ的な役割でRedisを導入していました。つい先日の事ですが訳あってRedis 2.6からサポートされたRedis Sentinelを採用しました。今回は、採用に至った経緯をご紹介します。 簡単なシステム構成 パフォーマンスは良いし、Memcachedには無い便利な機能を提供するRedisですが約一年間運用していくつかの問題が出てきました。 Redisサーバーが突然高負荷に陥るするとWebサーバーも高負荷に陥るRedisのReplicationは張ってるけどアプリケーション側でRedis Slaveへフェイルオーバーしない（MySQLを直接参照する）Redis落ちると恐らくMySQLサーバーが耐えられない（落ちた事無いけど）という事で対策を行ってきました
AWS ElasticCacheのRedisをDefault設定で使ったときのConnection Leakの解決方法 - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
現在、弊社にて提供しているサービスのほぼ全てにおいてAWS(Amazon Web Service)を利用しており、その中でも頻繁にアクセスが必要なデータについてはElasticCacheのRedis/Memcachedを利用しています。今回は、そのElasticCacheでRedisを利用する場合において、弊社の運用で発生してしまったトラブルと対応方法について紹介させていただきたいと思います。 TL;DR AWS ElasticCacheのRedis ServerのDefaultのパラメータ設定では、Connection Timeoutの設定がされていないので、そのまま放置するとConnection数が溜まり続けて危険ですので、ConnectionのTimeout設定を行いましょうというお話になります。 今回発生した問題 Blue-Green Deploymentを多用して何度もデプロイを
redisをAutoScaling環境で使う場合はtimeoutの設定に注意 - まめ畑
Redisをstorageやcacheとして使う事が多くなってきたのですが、普段使っている分にはさほど問題なかったものがautoscaleなどの頻繁なインスタンスの増減がある環境でtimeoutを上手く設定していないと問題が出る場面に遭遇したのでメモしておきます。 Redisのtimeout値(コネクションは貼られているが、コマンドが送られて来ない時間)はdefaultで300秒になっています。 この値を何らかの理由で0(無効)やとても長い時間に設定している場合、正常にコネクションがcloseされないと、Redis側からはESTABLISH状態に見えたままになていることがあります。 この状態の時はnetstatで確認してもESTABLISHEDになっています。 今回この場面に遭遇したときは、インスタンスの増減が頻繁に行われている時で、Redisの接続が失敗する事が増えてきたため気づきました
ScaleOut | Supership
「ミライリアルの幸せを、デジタルの力で創る」ことを目指すSupershipグループの社内報です。日々の出来事、メンバーの働く様子や声、未来への想いなど、Supershipグループの”Be Super”なストーリーをみんなでシェアしていきます。
【進撃の巨大データ】RealTimeLog集計を目的としたRedisの活用 - Y's note
Log集計の設計を再考 【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Yuta.Kikuchiの日記 人生を前向きに楽しむことを心に誓った@yutakikuchi_です。最近はこのブログで【進撃の巨大データ】というタイトルで何回かBigDataに関する記事を書いています。前回はLog集計用DBとシステム構成の美しい設計を考えるという題でInnoDB、InfiniDBを使ったLog集計のmerit/demerit、SystemPerformanceについて記述しました。それから時間をおいて再考し、InnoDBを使う場合のメリット/デメリットと注意事項が不足している事に気づいたのでここで追記します。更に集計の緊急度に合わせて使用するDBを変えます。リアルタイムではRedis、定期処理ではMysqlを使って集計することを試してみたいと思います。 Log集計方法のme
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis Streamsを活用したイベントドリブンアーキテクチャの構築事例 - DMM inside
GitHub - gree/master-slave-redis
Adding read replica endpoint in PHP RedisClient (Predis)
8.x Redis Laravel
https://github.com/tokuhy/conf-jp/blob/master/redis.2.8.x.conf
Redis の設定 — Redis Documentation (Japanese Translation)