ISUCON8予選突破した | おそらくはそれさえも平凡な日々
今年も予選から素晴らしい運営、問題で堪能させてもらいました。 去年本戦3位で終わり、思うところがあり、今年は一人で出るか、もしくは出るの見送ろうと思ってたんだけど、TwitterのTL上でnajeiraさんが、メンバー募集していたのを見て、急に出たくなってしまって一緒に参加させてもらうことにした。 興味あります。 去年3位 優勝経験有り Go書けます — songmu (@songmu) 2018年8月28日 これまで、同僚か元同僚かとしかチームを組んでこなかったので、あまり馴染みがない人と組むのは楽しそうだし、そういう新しいチャレンジも面白そうに思ったのだ。 ということで「死闘の果てに」と言うチーム名で、najeiraさんとbluerabbitさんと参加することにした。チーム命名はnajeiraさん。 事前の顔合わせでも、fabricでdeployしましょう、解析には github.co
人間とウェブの未来 - ngx_mrubyの紹介 ならびに nginx+mruby+Redisによる動的なリバースプロキシの実装案
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ようやくngx_mrubyでもmod_mrubyのように動的なリバースプロキシ設定ができるようになりました。タイトルは完全に@hibomaさんによる「lua-nginx-module の紹介 ならびに Nginx+Lua+Redisによる動的なリバースプロキシの実装案」をパク … inspireしたものになっています。 今回の工夫点としては、 ngxin内部の変数をうまく使う redisとのセッションはnginx起動時に一度だけ行なって、そのオブジェクトを使いまわす proxy_passを使って汎用的な設定にする の3点です。 1に関しては、前回の「ngx_mrubyでnginxの内部変数を操作する」で紹介しました。 2に関しては、リクエスト
AWS News Blog
New Solution – Clickstream Analytics on AWS for Mobile and Web Applications Starting today, you can deploy on your AWS account an end-to-end solution to capture, ingest, store, analyze, and visualize your customers’ clickstreams inside your web and mobile applications (both for Android and iOS). The solution is built on top of standard AWS services. This new solution Clickstream Analytics on AWS a
Redis勉強会資料(2015/06 update)
Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。
本当は怖いMemcached - Qiita
はじめに データアクセスの高速化、セッションの保持などに非常に重要なポジションを占めているMemcached 特徴をあげると、速い安い美味いで、AWS上のサービス化などされており、非常に扱いやすいプロダクトなのですが、Memcachedそのものが単一障害点とならないように冗長化を測った時に深刻な問題が発生する可能性があることをご存知でしょうか。 システムに心あたりがある方は今すぐ代替手段を検討しなければなりません。 どうしてもMemcachedを使いたいという方はこちらへ それでもMemcachedを使いたいあなたへ 前提条件 そもそも冗長化をしなければ問題ないという運用はその時点で怖いのでNG cache機構という性質上、データが飛ぶのは問題ない(”正”となるデータを他から読み出すだけ)が、誤ったデータが読み出されるのをNGとする Memcachedを利用した時に利用ノードを決定するのは
Redisの監視/分析系ツールまとめ « Rest Term
Redis関連の監視/データ分析系ツールについてメモしておきます。 随時追記予定。実務で有用なツールが他にありましたら教えていただけると嬉しいです。 環境 CentOS 5.9, Ubuntu 12.04 (x86_64) Redis 2.6.10 (※ CentOSの6.x系への移行は足踏み状態。相当大変ですよね。。) 以下の順に紹介していきます。 Redisコマンド Redis Sentinel Redis Live Redis Faina Redis Sampler redis-top Nagiosプラグイン Zabbixテンプレート Muninプラグイン Cactiプラグイン 最後のCactiプラグイン以外は実際に導入して試してみました。以降、見出しに各プロダクトへのリンクを貼っておきます。 Redisコマンド ツール紹介の前にまずは基本から。Redisには監視やデータ解析用途で使
Redis の maxmemory-policy について - @kyanny's blog
Redis をキャッシュストレージとして利用する場合、 maxmemory によって利用可能なメモリの最大値を指定できる。 maxmemory の値を超えるデータの追加が発生した場合の振る舞いを maxmemory-policy によって指定できる。デフォルトの maxmemory-policy は volatile-lru で、 LRU アルゴリズムに従って古いキーの値が優先的に破棄される。 maxmemory-policy は数種類から選べるが、そのうち noeviction を選んだ場合、古いキーの値は破棄されず、新規追加はエラーとなる allkeys-lru または allkeys-random を選んだ場合、 expire の有無に関わらず、全てのキーの中から破棄対象が選ばれる その他を選んだ場合、 expire がセットされているキーのみが破棄対象となる という違いがある。実装
ElastiCache for Redis のバックアップとリストアができるようになった！ – I'm Sei.
これまで、ElastiCache (Redis) のバックアップをとりたいときは、EC2 上の Redis を ElastiCache のスレーブにして rdb ファイル等を取得する方法しかありませんでした。 まどろっこしくて、早く直接バックアップがとれるような機能がほしいなぁと思っていたのですが、とうとう実装されたようです！ 現在はバックアップ/リストア等の操作は cache.m1.small 以上でしかできないようです。 自動スナップショットの設定日毎に自動でバックアップを作成する設定ができます。 新規クラスタに設定する通常通り Launch Cache Cluster からクラスタの作成を進めていくと、以下のような画面に進みます。 ここで Enable AutoMatic Backups で Yes を選ぶといろいろ設定できるようになります。 Backup Retention Per
Socket.IO, Redisを使用し各ゲーム間でプッシュ通知するシステム | 株式会社サイバーエージェント
2. システム概要 homingは、アメーバピグ関連サービスのいずれかにログインしているユーザに対して、各サービスの通知情報を横断的にプッシュ通知します。 システムの構成は以下の通りです。 図2-1. システム概要 2-1. APIサーバ ユーザへの通知要求を受け付けるREST fullなAPIを備えたWebサーバです。 Node.jsのClusterによる、master/worker構成で稼働します。 通知要求はワーカプロセスで処理します。 図2-2. APIサーバ 2-2. Redisサーバ（データストア用） 一時的なデータをストアするためのRedisサーバです。 sentinelプロセスによる、master/slave構成で稼働します。 ストアされたデータはメモリ上のみで管理し、ディスクへの書き込みは行いません。 以下の情報を管理します。 ユーザのオンライン情報 ユーザIDの索
よくわかるLinux帯域制限 | GREE Engineering
矢口です。 みなさんはLinuxのtcという機能をご存知でしょうか。送信するパケットの帯域制御を行うことができる大変強力な機能で、グリーでもいくつかの用途で使用されています。 具体的な事例の一つはRedisです。Redisではreplicationを新規に開始する際やfailoverが発生しmasterが切り替わった際(特に2.6系)にストアされている全データが転送されます。しかし帯域制限をかける機能がないため、ネットワーク帯域を圧迫してしまう危険性があります。また通常のクライアントとの通信でも大量のクエリにより予想以上の帯域を使用してしまう可能性があります。このような場合にtcを用いることでRedisの使用する帯域をコントロールできます。 このように有用なtcですが残念なことに日本語/英語ともにわかりやすい解説や詳細な情報は多くありません。 私も社内において使われていたtcの設定に問題が
RailsのinitializerでRedisに接続する時は必ず最初に$redis.pingする
Railsでredis-rbを使ってRedisに接続するアプリを作る場合、Railsアプリの初期化時にRedisに接続を行うことが多いと思います。/app/config/initializers/redis.rbのようなファイルの中で$redis = Redis.newにより接続を準備しますが、Redis.newはRedisクラスのオブジェクトを作成するだけなので、仮に接続のための設定に誤りがあったりRedisのサーバー自体が起動していなくても例外になりません。すると、Railsのアプリ本体のコードのどこかで後に$redisを使ってDBへの接続やpub/subなどを行った時点で突然例外が発生することになります。このような事態を避けるためには、/app/config/initializers/redis.rbの中で$redis = Redis.newを行った直後に$redis.pingを実行
ElastiCacheとELBとtwemproxy - まめ畑
redis / memcachedをスケールする方法として、アプリケーションで分散アルゴリズムを実装する方法や、ライブラリを使う方法などありますが、 Twitterが作っているtwemproxy(https://github.com/twitter/twemproxy)というものがあります。 これは、redis / memachedの前段に置くことでキャッシュクラスタを構成することが出来ます。様々な分散アルゴリズムや、故障ノードの切り離しなどの機能もあり、 キャッシュノードが不具合で接続できなくなったとしても自動でサービスアウトしてくれます。 開発も盛んに進んでいて、今、ノード追加時にプロセスの再起動が必要ですが、gracefulの実装も見えて来ました。 詳しくは以前書いたこちらの記事を参照して下さい。http://d.conma.me/entry/20121227/1356596553
RailsでRedisを使う例のメモ | | Scimpr Blog
最近よく見かけるようなのでメモ Redisって大量にメモリを積んでないとダメかと思ってたけど、思ったよりいろんな方面に用途がありそう(リンク先の情報はわたしは未検証です) Redisの基礎 (全14回) memcachedと“正反対”、Redisが仮想メモリをサポート セッションをサーバサイドで管理するセッションの保存先にRedisを使う github.com/jodosha/redis-store/ github.com/jodosha/redis-store/tree/master/redis-rails node.js – socket.io – rails – sessionを共有する方法 バックグラウンド処理を行う#271 Resque github.com/defunkt/resque cronのような定期的なジョブの実行resque-scheduler (resqueでcro
Redisでランキング機能を実装してみる - (ﾟ∀ﾟ)o彡 sasata299's blog
2013年04月24日13:26 NoSQL Ruby Redisでランキング機能を実装してみる Redis を触ってると楽しくてニヤニヤしてしまう今日この頃です、こんにちは。 読み書きのパフォーマンス的には memcached とよく似てる感じかなーと思いますが、データが消えない（永続化）、さまざまなデータ型を持っていて用途によって使い分けられる、データ操作がアトミック、など、Redis には魅力的な特徴があります。 今回は Redis を使ってちょっとしたランキング機能を実装してみる話でも書いてみます。 Redisの環境準備 まずは Redis をインストールします。Mac だったら homebrew を使うと良いでしょう。 $ brew update $ brew install redis Redis の起動自体は非常に簡単で、このコマンドを実行するだけです。 redis-serv
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
