システム開発で得たRedis利用ノウハウ | フューチャー技術ブログ
こんにちは。初投稿です。 2012年新卒入社の竹内です。入社当時を振り返るとOracle10g,11gを良く利用していおり、データモデリングなどテーブル設計が好きで、2018年4月ぐらいまでRDBとバッチに浸ってました。 さて、現在プロジェクトでRedisを使っているのですが、いままでRDB人間だっただけにKVSやRedisならではの特徴に四苦八苦してます。 苦しんだ分、色々な知見を得ることができているので、その内容をご紹介します！ 対象者 Redisの業務システム導入を検討している方 RDBとRedisの違いを知りたい方 現場的なRedisの利用方法を知りたい方 書いてないこと データ型やコマンドなど、HelloWorld的に公式ドキュメントを見て得られる情報 インストールなど、Redisを利用できるまでの手順 フェイルオーバーやバックアップをはじめとする運用に関する内容 データ永続化に
Ameba広告の配信制御アーキテクチャを刷新した話 ~オレシカナイトvol.3~
Yusuke KomaharaCyberAgent, Inc. Software Engineer at CyberAgent.Inc
Redis でお手軽に複数台構成の検証環境を作る - akishin999の日記
最近 Redis の Sharding 構成やレプリケーション構成を検証するために複数の Redis インスタンスを起ち上げる事が多いのですが、その度に一々設定を変更した redis.conf を用意するのが結構面倒でした。 という事でちょっと調べてみると、どうやら redis-server は起動時に設定ファイルと個別の設定項目の両方を指定でき、設定ファイルの指定内容を個別項目の指定で上書きできるようです。 というわけで、最近はお手軽にパラメータを指定したシェルスクリプトを書いて使っています。 本体のインストール(CentOS 6.3 x86_64) まずは本体のインストールですが、remi リポジトリに最新版(2.6.13) の RPM があるのでそちらを使うと楽です。 remi 版の Redis は gperftools の tcmalloc を使っているので、最初に gperfto
Redisを使う時は見積の二倍の容量必要だよね、という話 - Qiita
[15487] 04 Aug 21:02:37.523 * 1 changes in 900 seconds. Saving... [15487] 04 Aug 21:02:37.523 # Can't save in background: fork: Cannot allocate memory redis-cli infoしても、使用してるメモリは全体の半分ちょっとだったし、空きは十分にある… 答えは Redis Administration http://redis.io/topics/admin に書いてありました。 原因と解決策 redisのバックアップが走る際、おそらく現状使用している量と同じだけのallocateを要求しているために、redis自体はメモリ使用が50%強だとしても、バックアッププロセスが落ちてしまう模様。 解決は簡単で、Redis Administratio
Redis 入門 - 巨人の肩の上に登る
Redis 使うことになったので，基礎的事項を最速でマスターできるようにまとめてみる． Redis とは Redisは，Key-Value型のNoSQLです． また，In Memory であるため，データ容量に対する制限はあるものの非常に高速に動作します． どのくらい早いのかという benchmark は，ググると結構でてくると思いますので，参考を一つ． redis、それは危険なほどのスピード MongoDB, HBaseなどのNoSQLとの，比較記事があるので参考に． Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison 細かい話など
Running Redis in production |
2014-11-11 00:00:00 -0800 Overview Redis is an excellent key/value cache that is used across many of Shokunin's customers. While redis is an great piece of software it is often difficult to obtain information about actually running it in production from an operational perspective. This article aims to discuss the necessary steps that ops teams should take before running redis in a production envir
Scaling Redis at Twitter
Twitter runs some of the largest Redis clusters in production. To adapt Redis to Twitter's use cases, we have come up with both configuration best practices and several new features. This talk is to provide a case study of running Redis at scale- with numbers and stories, and what we have in mind for the future. About Yao Yu Yao has been on the cache team at Twitter for over three years. She wor
LedisDB - A high performance NoSQL like Redis powered by Go.
Data structure Rich data structure: KV, List, Hash, ZSet, Set. Various Backend Various backend databases to choose: LevelDB, goleveldb, LMDB, RocksDB, BoltDB or Memory. Expiration & TTL Supports expiration and ttl in all kinds of data structures. CLI Support Redis clients, like redis-cli, are supported directly. Easy Embedding Easy to embed in Go application. Data Protection Replication to guarant
Redis Sentinelをセットアップして、お手軽にRedisのフェイルオーバーを実現する方法
言わずと知れた、Redisのフェイルオーバーツール、Redis Sentinel（http://redis.io/topics/sentinel）をお手軽に使う方法を紹介します。 フェイルオーバー時に、アプリサーバからRedisへの接続先を変更する方法として、”アプリサーバへ /etc/hosts を rsync で配布する” といった方法をとります。 いままでは、RedisサーバのIPアドレスの付け替えや、HAProxyの設定変更を自動で行う、などといった方法がありましたが、これは、敷居低めで実装できるのが嬉しいです。 動作イメージは下のようになります。 redis1が壊れたとき、redis2が自動でマスタに昇格してサービスを継続します。 詳しく説明します。 app1、app2の /etc/hosts には、Redisマスタのホスト名 redis-master.myservice.com
yrmcds 0.9.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。 今回は memcached 互換で冗長構成を簡単に組める自社製 KVS である yrmcds のリリースをご案内します。 ... この Redis 全盛なご時世になんで？とか、repcached や Kyoto Tycoon があるじゃない、といったツッコミの嵐が聞えてきそうです。わかってます、わかってますから物を投げないで！ 順を追って説明しますので、批判はそれからにしてください！ 何が欲しいのか 私は日頃 cybozu.com のインフラで動作するソフトウェアを開発しています。リリース後もうすぐ２年になりますが、お蔭様で 4,000 社以上にご利用いただくまでになりました。商売繁盛で嬉しいのですが、運用側は日々増えるデータとアクセスを捌くべく奮闘しています。 ここのところ問題になっていたのが、MySQL に保存しているセッション情報でした。アプリ
Edis
Edis is a protocol-compatable Server replacement for Redis, written in Erlang. Edis's goal is to be a drop-in replacement for Redis when persistence is more important than holding the dataset in-memory. Edis (currently) uses Google's leveldb as a backend. Future plans call for a multi-master clustering model. Near term goals are to act as a read-slave for existing Redis servers. Learn more → Is Ed
BPStudy20121221
[AC08] 新世代のアーキテクチャに移行せよ。富士フイルムの事例に学ぶ、クラウドネイティブソリューションのビジョンと設計de:code 2017
Redis布教活動報告 ISUCON 編 - unknownplace.org
最近 Test::RedisServer とかもろもろつくっててばれてるかもしれませんが、だいぶ Redis 期にありまして、最近の趣味は？っていう問いにはだいたいRedisのソースを読むことですってなくらいなのですが、 memcached とかシンプルな KVS と比べるとだいぶ機能が豊富なので使い方を迷ったりとかそういう事例もあり、周りにもう少し使える人を増やさなければ僕の書いたコードが属人化しててつらい感じになるなーっていうわけで、 布教活動をおこなっておりまして、その一環として ISUCON2 に参加してきましたのでその報告です。 livedoor Techブログ : #isucon2 リアルタイムフォトレポート 更新終了 前回の優勝チームに混ぜてもらった感じでだいぶついてる感じもしますが、見事連覇を果たせ、懇親会でも redis redis と連呼してきたのでだいぶ興味持った方も
イネーブラ型NoSQLのまとめ（Memcached、Redis、Scalaris、Tokyo Cabinet/Tyrant編）
序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス 本連載は書籍『NOSQLの基礎知識』（リックテレコム刊、ISBN：978-4897978871）で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっています。 本連載では、この書籍の内容から、主要プロダクトを紹介している第5章を抜粋し、そのエッ
RedisをRubyから触ってみた - ごろねこ日記
前回、多機能高速なキーバリューストアRedisをインストールして、本体ソースについてきたクライアントで値を保存したり取得したりしてみました。 前回の記事 今回は同じ事をRubyからやってみたいと思います。 あと、最後の方でRuby+Redisでツイッターのタイムライン的なものを表現してみたり。 インストール ライブラリはgemで提供されています。 $ gem install redis使い方 Redis.newでオブジェクトを生成して、あとはRedisのコマンド(http://redis.shibu.jp/commandreference/index.html)にならってメソッドが実装してあるようです。 ローカルホストの標準ポートでRedisが動いている場合 redis = Redis.new ホストとポートを指定する場合 redis = Redis.new(:host => "10.0.
最速KVS研究：memcached/mdcached/redis/Kyototycoon-Kyotocabinet - なぜか数学者にはワイン好きが多い
今回は，以下の条件でサーバを起動してアクセス速度を調べました． クライアントマシン1台とサーバマシン1台をギガビットハブで結び，TCPv4アクセスの速度を調べる サーバは4ワーカスレッド，ディスクへのスナップ機能はオフにする クライアントはC言語APIに統一 キーは32バイト固定，バリューは2560バイトと41960バイトの2種類 サーバもクライアントもプロセス数は1とする クライアントからのアクセスは，OpenMPを用いて1スレッドから16スレッドまで変化させる データのsetを100000回または10000回繰り返し，その後getを同じ回数だけ繰り返す まずはバリューの長さが短いケース． データのsetもgetも，特にどのKVSでも差は出ないようです． 結果として，読み書きを足した場合でも差は見られません． 続いて，バリューの長さが40Kバイトと大きい場合． まずデータのsetでは，r
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redisのパターンに一致するキーを削除 - Qiita
Home - ID-2Sbo
Redisへと至る、gumiデータストアの歴史
GitHub - SawdustSoftware/disredis: Distributed Redis. Can be used in place of a StrictRedis client. Enables real-time failover of redis masters to paired slaves for improved reliability.
