同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
Redisの25倍のスループットDragonflyを試してみる
インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット
php-pecl-memcachedをアップデートしたら怒られるようになった - rimoenicの日記
先日PHP7.0を入れたCentOS7のマシンのアップデートを行ったところログに下記のようなものがずらーっと出るようになってしまった。 PHP Warning: Unknown: using touch command with binary protocol is not recommended with libmemcached versions below 1.0.18, please use ascii protocol or upgrade libmemcached in Unknown on line 0 どげんかせんといかん。ということで調べてみると下記のような情報がでてくる。 qiita.com が、自前でコンパイルとかいやずら、という私のような人は下記のように/etc/php.d/50-memcached.iniの設定変更すればよい。 memcached.sess_bin
memcached の無期限キャッシュを取得する方法 - do_aki's log
memcached に expire を 0 で値を set すると、メモリから溢れるまで消えることはない。 この、無期限にキャッシュされた値を取得する方法が必要になったので調べてみた。 memcached のプロトコルには、キーの一覧やキーの情報を直接取得するようなコマンドはない。 そこで、統計情報を返す stats を利用して取得することになる。 stat items コマンドで、値を保持するslab(キャッシュ可能なサイズ毎に分かれた部屋のようなもの)の一覧が得られる >stats items STAT items:1:number 4 STAT items:1:age 229308 STAT items:1:evicted 0 STAT items:1:outofmemory 0 STAT items:2:number 1 STAT items:2:age 229308 STAT
俺でもわかるシリーズ: memcachedの設定 - Qiita
#! /bin/sh # # chkconfig: - 55 45 # description: The memcached daemon is a network memory cache service. # processname: memcached # config: /etc/sysconfig/memcached # pidfile: /var/run/memcached/memcached.pid ## 中略 PORT=11211 USER=memcached MAXCONN=1024 CACHESIZE=64 OPTIONS="" if [ -f /etc/sysconfig/memcached ];then . /etc/sysconfig/memcached fi ## 後略
nc を用いた Memcached のオペレーション方法 - Garbage in, gospel out
nc を用いた Memcached のオペレーション方法についてまとめておきます。 特定のキーのデータを参照、削除する memcached に接続するためのツールはいくつかあるが、ここでは nc を用いた方法を採用している。 telnet よりも nc(netcat) を使ったほうがいい理由は http://www.terminalinflection.com/use-netcat-not-telnet-to-test-network-connectivity/ が詳しい。 By default it opens a TCP connection to a nominated port, but this flexible port argument is more of a side effect of its function as an interactive console, an
キー一覧を見るためにmemcached入門 - tumblr
memcachedを使う場合、多くはアプリケーションの言語ごとにあるクライアントを使ってgetとかsetをすると思う。telnetで直接memcachedプロトコル使うのはキーの一覧が見たいとかデバッグ時くらいだと思う。そのデバッグ時も言語ごとのrepl使うほうが早かったりするけど。 まぁそんなわけでmemcachedをtelnetから叩くことは殆どないのではないかと思う。自分が単純に経験不足なのも在るだろうけど。で、この間直接覗きたい機会があったのでどういうkeyが入ってるのか調べるためにキー一覧を見ようとしてみたのだけど見方が全くわからない。『memcached key 一覧』でググって一番最初に出てきたこのページを参考にしてstats itemsコマンドを打ってみたけど何が何だか... > set hoge 0 0 4 > hage STORED > stats items STAT
memcached が変なんです。顛末記 | 丸ノ内テックブログ
フロントエンド front end バックエンド back end アプリ開発 app インフラ infra その他 other データドリブン data driven タグ一覧 Ajax（1） Android（20） Apache（2） AR（2） benchmark（1） BigQuery（2） browsersync（1） C4（1） CakePHP（1） CentOS7（1） CI（1） CMS（3） CoreNFC（1） CraftAR（1） CSS（1） DeepLab（2） Dmitry Stogov（1） ECMAScript（1） ECMAScript6（1） ElePHPant（1） Facebook（3） FFmpeg（1） firebase（1） fluentd（1） Framework（1） GD（2） gif（2） Git（1） GLSL（5） Google A
[memcached] memcachedコマンド一覧 - Life with IT
2008/5/21更新 対応バージョン: 1.2.5 memcachedで使用可能なコマンドには以下の種類がある。 set / get データの格納 / 取得 gets データの取得(後述のcas ID付) replace 既存のデータの変更 append 既存のデータの後ろにデータを追加 prepend 既存のデータの前にデータを追加 cas キーとcas IDのペアで既存のデータを特定して内容を変更 incr / decr 既存のデータの加算/減算 delete データの削除 stats サーバの利用状況のレポート コマンドは以下のフォーマットで指定する。 set, replace, append, prepend <コマンド> <キー> <フラグ> <有効期間> <サイズ> cas <コマンド> <キー> <フラグ> <有効期間> <サイズ> <cas ID> incr, decr
![[memcached] memcachedコマンド一覧 - Life with IT](https://cdn-ak-scissors.b.st-hatena.com/image/square/63c67004f340a9cfebe1346d512a10a786385cbc/height=288;version=1;width=512/https%3A%2F%2Fl-w-i.net%2Fimg%2Flogo_256.png)
memcachedコマンドリスト - taka512's blog
検索コマンド 検索を行うコマンド 戻値書式 VALUE []\r\n \r\n key 送信したキー flags ストレージコマンドで送信したflag bytes 取得データのデータ長 cas unique casコマンドで使用するキー(getsコマンドで取得) data block キーのデータ getコマンド 実行例 get hoge VALUE hoge 0 4 test END getsコマンド 実行例 gets hoge VALUE hoge 0 4 7 test END ストレージコマンド データ操作を行うコマンド 実行書式 [noreply]\r\n flags サーバがデータとともに格納して返送する値 exptime 有効期限(unix time)。もし0を指定した場合、項目が期限切れになることはありません byte データブロックのバイト数です。 noreply オプショ
memcacheとmemcachedの違い
memcachedをphpから利用するモジュールで、 memcacheモジュールとmemcachedモジュールという２つがあって、 頭がごちゃごちゃしたのでまとめておきたいと思います:(；ﾞﾟ'ωﾟ'): 社内でlibmemcachedって何に必要なんだっけ・・・？ memcachedサーバー側で必要でクライアント側にはいらないんじゃないっけ？ とか混乱してたのはナイショｼｰｯ! d( ﾟεﾟ；) ■PECL::memcache ・PECL::memcacheのURL ・PHP4.3.3以上で使用可能 ・インストール時に他のライブラリに依存しない ・分散が出来る。（複数サーバーに対応）（PECL::Memcacheが2.0以降）※１ ・cas対応（3.0.0以降）※２ ■PECL::memcached ・PECL::memcachedのURL ・PHP5.2.0以上で使用可能。 ・memc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Home
ConfiguringServer
memcachedの同時接続数に余裕があるのに接続できなかった原因 - Qiita
开门红-满江红！
CentOS6.4にmemcachedをインストールしPHPで利用できるようにするまで - Qiita
いぬごやねっと