あと2時間でElastiCacheのメモリが枯渇！そのときあなたは何をしますか？
突然ですが... あなたは、あるゲームプロジェクトの本番リリース2日前にサーバエンジニアとしてJOINしました。いざリリースを迎えたとき、ElastiCacheのメモリが突然危険域を超え、さらにあと2時間で枯渇しそうな状況になりました。 さて、この状況におかれたあなたは何をしますか？ はじめに モバイルゲームのシステムは新しいイベントをopenするとトラフィックが2倍、3倍、時には普段の10倍以上来ることがあり、トラフィックの変動が非常に大きい特性があります。 新しいゲームのリリース時はより顕著で、想定以上のトラフィックが来ることもしばしばあります。 この記事は、あるゲームプロジェクトの本番リリース時に大規模トラフィックが来た際のサーバトラブルを題材に、 どのような観点で問題を切り分けていったのか、トラブルシュートのプロセス どのような準備(負荷テスト)をしていれば防げるのか という話をし
NoSQLの成功は1:10問題にかかっている:Kenn's Clairvoyance
ここ2-3年ほど、いわゆる非SQL系データベースがホットな話題になってきています。このムーブメントを総称して「NoSQL (Not-only SQL)」と呼ばれることが多いようです。まるでSQLを否定しているかのような誤解を招きやすい用語ですが、かといってキー・バリュー型データストアや列指向DBを総称できる他の呼び方もないので、このエントリではNoSQLという用語を使うことにします。 OracleやMySQLなどのSQLデータベースが成熟していく一方で、SQLデータベースを特徴づける弱点である柔軟性のなさ、堅牢さと引き換えに犠牲になった更新性能の低さ、スケールアウトの難しさなどから、「何でもかんでもRDB」から「目的に応じた永続化」が模索される流れになってきました。 時を同じくして、キャッシュサーバの世界でも、MemcachedのもつシンプルなAPIの使いやすさが評価される一方、LRUによ
RedisのNotify Keyspace EventsをSubscribeする
RedisにてKeyにexpireで指定した時間を過ぎた時に，そのKeyのValueが欲しいということがあった． Redis 2.8以上であれば，keyspace notificationsという仕組みがあり，Redis データセットに対するなんらかの変更イベントをPub/Subチャンネルで受け取ることが可能である． Redis Keyspace Notifications 詳しくは上記ドキュメントに書いてあるので，ここでは省略する． notify-keyspace-eventsをKEAに設定しておくと，とりあえず発生するイベント全部取れる． $ redis-cli config set notify-keyspace-events KEA Redisを起動するごとに設定するのは面倒なので，/etc/redis/redis.confにnotify-keyspace-events KEAの一
アルゴリズムとデータ構造から理解するRedis / Learn Redis from Internal Algorithms and Data Structures
2019年新卒研修で使った資料です。 内部実装の雰囲気を感じとりながら、Redisについて理解を深める研修を行いました。 以下の内容について学びました。 1. Redisの概要 2. 社内での利用方法 3. 正しい用法用量 Redis についての前提知識は必要としていません。C言語の基礎的な知識は前提とします。
Amazon ElastiCache Redis の各パラメータについてまとめてみた ｜ DevelopersIO
おはようございます､加藤です｡Amazon ElastiCacheのRedisを利用する際に､どのように設計・設定すれば良いのかをまとめてみました｡ Redisとは RedisはOSSのインメモリ型キーバリューストアです｡ ちなみに名称はREmote DIctionary Server の略語です｡ Redisを扱うのが初めての方はまず下記のリンク先を読むことをおすすめします｡ Redis とは? - Amazon ElastiCache（キャッシュ管理・操作）| AWS ElastiCache for Redisとは AWSによって提供されるマネージドなRedisです｡Redisを使用してる既存のアプリケーションならばほとんど変更なしに移行することが可能です｡ キャッシュノードの障害の自動検出と復旧。 障害が発生したプライマリクラスターの、レプリケーションをサポートする Redis クラ
redis clusterを自力で構築してみた - Qiita
redis clusterを構築する際は、redis-tribという便利なツールがありますが、ここではredis-tribを使わずに自力でclusterを構築する手順を書きます。 ※redis-tribを使った方が安全に、簡単に構築できますし、いろんな機能があるのでちゃんと作るときはredis-tribを使うのを強く推奨します。 redisを3台起動する [redis clusterの作り方]を参考に3台起動してください。(参照先URLの手順は3まで行います) ここでは7000～7002 portを使って3台でクラスタを構築します。 redis.confにてcluster-enabled yesとするとcluster-config-fileに設定されたファイル名のクラスタ設定ファイルが作られます。 ただ起動しただけだと、こんな感じ
Redisのクラスタリング - Qiita
制限(引っかかった箇所) マスター3つ以上必要 2つまでだとエラーでクラスタ作成できない。 ノード削除はスロットを持たない場合でないとできない。 cluster reshard で別マスタへ移動しておく必要がある。 ← テスト系でめんどい場合は cluster reset で。 cluster reset はデータがあるとできない。 あらかじめ flushall などで中身を飛ばしておく。 エンドポイント指定はクライアントから見える必要がある。 例えば開発環境で 127.0.0.1:7001 などと指定して別マシンからアクセスすると MOVED のエラーが出る。 外部から認識されるIPとポートで指定する必要がある。 設定 必要なものだけ抜粋 appendonly yes # アペンドログ必須 cluster-enabled yes cluster-config-file nodes.con
Redis Cluster Specificationメモ - Qiita
概要 cluster-specの内容のまとめ 随時追記していくと思います。 誤訳・認識ミスもあるかもしれません。 （）の部分は筆者のコメントです。 著作者から指摘があった場合は速やかに削除します。 specへようこそ。ここではクラスタのアルゴリズムやデザイン情報を見れます。 このドキュメントはなるべく最新の実装に合わせています。 Main properties and rationales of the design Redis Cluster goals クラスタの達成したいことは以下です。（重要度順） High performance and linear scalability up to 1000 nodes. プロキシなく非同期レプリケーション、マージ操作に性能的な負担がないこと。 可能な限り書き込みができること、多数派クラスタに接続されているクライアントに対しては出来る限り書き
Redis Cluster
Redis Cluster a pragmatic approach to distribution All nodes are directly connected with a service channel. TCP baseport+4000, example 6379 -> 10379. Node to Node protocol is binary, optimized for bandwidth and speed. Clients talk to nodes as usually, using ascii protocol, with minor additions. Nodes don't proxy queries. What nodes talk about? PING: are you ok dude? I'm master for XYZ hash slots.
プロダクションで2年間Redis Clusterを運用してみて - Qiita
TL;DR Redis Clusterで運用は本当に楽になった でも、Redis 4.0は不安 Redis Clusterで一番怖いのはDisk IO 特にフェイルオーバーなどのFull Resync時 Redisとは？ 高速なインメモリ型のKVS シングルスレッド 豊富なデータ構造(次ページにて詳細) 豊富な操作(次々ページにて詳細） 豊富なデータ構造 key-value型 hash型(key-field-value) set型(集合演算ができる) sorted set型(スコア付きset) 任意の型(redis modules機能) 豊富な操作 インクリメントや和集合などなど lua scriptも実行できちゃう シングルスレッドだからatomicな処理になる Redisの問題点 writeがスケールしない 気軽に停止できない サーバー再起動やバージョンアップなど Redis Clus
Redis Cluster構築メモ - kenken0807_DBメモ
同一ホスト内にRedis Cluster構築してみたのでメモ。 version:Redis 3.2.6 インストール 6台構成でクラスター作成する ノードを追加してみる ノードを撤去してみる ノードを移動してみる インストール 動作確認のためなのでインストールの細かい設定は気にしない。適当に動作するように設定。 ダウンロード mkdir /redis wget http://download.redis.io/releases/redis-3.2.6.tar.gz tar zxvf redis-3.2.6.tar.gz make make install 起動スクリプト Redisを複数起動するため起動スクリプト編集 # vim utils/redis_init_script REDISPORT=6379 → REDISPORT=$2 設定ファイル変更 6台構成で作成するため、6つ設定ファ
セッション管理としてRedisを使用する - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに みなさん こんにちは、Thuatと申します。今年ラクスに入社しました１年目です。 この記事ではセッション管理としてRedisを使用するケースを紹介します。 Redisとは？ Redis は簡単に言うと、メモリ上のKey-Valueストアです。 メモリ上にデータを格納しますので高速に動作します。 以下はインストールから簡単なデータの登録・取得までの手順になります。 Redisをインストールする $ wget http://download.redis.io/releases/redis-4.0.1.tar.gz $ tar xzf redis-4.0.1.tar.gz $ cd redis-4.0.1 $ make Redisサーバーを起動する $ src/redis-server 33507:C 25 Sep 23:21:32.201 # oO0OoO0OoO0Oo Redis
真剣にRedisを使ってみようという気持ちになったのでRedisについて知っていることを書く - なんかかきたい
年末ですね。更新がおろそかになっていたので、たまにはちゃんとした話をしたいなと思い、前々から書こうと思っていたRedisの話を書いてみました。 検証に使用したRedisは3.2ですので、新しくバージョンが変わると以下の話は変わってくるかもしれませんが今のところそのようなことはしばらくなさそうです。 以下長々とRedisを本当に使えるように設定したり調べたり検証したりした内容を書いていきます。 いまさらですが Redisは構造データを持てるオンメモリデータベースサーバで、RDBとは違いますがHashやListなどのデータ構造を記録することができる高速なストレージサーバです。 オンメモリDBでHashを持つことができるので、KVSのように扱われることもあるのですが、memcachedと比較すると機能は多く、レプリケーションやAtomicなデータ処理なども可能です。 導入の前に Redisに限っ
ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips
近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大きいので内部の 取得時間差はトータルで考えると多くの場合誤差です. 特に RDB の主キーのみで取得できるようなデータを Redis にキャッシュすることに メリットはありません. キャッシュするコードを書くコストの方が高くつきます. キャッシュするのは R
Redis Cheat Sheet
Cheatography https://cheatography.com Download This Cheat Sheet (PDF) 4 CommentsRating: () Home > Programming > Redis Cheat Sheets Redis Cheat Sheet by tasjaevan Redis commands Strings APPEND Append BITCOUNT Count set bits BITOP Bitwise operations BITPOS Find first set bit DECR Decrement integer DECRBY Subtract from integer GET Get by key GETBIT Get bit by index GETRANGE Get substring GETSET Set,
Redisについて各データ型と想定用途をまとめてみた | 丸ノ内テックブログ
フロントエンド front end バックエンド back end アプリ開発 app インフラ infra その他 other データドリブン data driven タグ一覧 Ajax（1） Android（20） Apache（2） AR（2） benchmark（1） BigQuery（2） browsersync（1） C4（1） CakePHP（1） CentOS7（1） CI（1） CMS（3） CoreNFC（1） CraftAR（1） CSS（1） DeepLab（2） Dmitry Stogov（1） ECMAScript（1） ECMAScript6（1） ElePHPant（1） Facebook（3） FFmpeg（1） firebase（1） fluentd（1） Framework（1） GD（2） gif（2） Git（1） GLSL（5） Google A
Redis勉強会資料(2015/06 update)
Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - craftgear/the-little-redis-book: The Little Redis Book 日本語訳
https://developer-collaboration.com/2018/12/20/centos7-redis-install/
Redisの特徴と活用方法について
