Snap、Google Cloud 上で KeyDB データベースを使用してレイテンシを 96 パーセント短縮 | Google Cloud 公式ブログ
Snap、Google Cloud 上で KeyDB データベースを使用してレイテンシを 96 パーセント短縮 ※この投稿は米国時間 2023 年 10 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 モダンなアプリケーションは高度に分散化が進み、マイクロサービスや API がマルチクラウドのような多数の異なる環境で実行されるケースが多くなっています。このアプローチには、レジリエンスやスケーラビリティなどを向上させて、チームの共同作業を加速するメリットがある一方で、レイテンシの面では懸念があります。この投稿では、Google Cloud コンサルティング（GCC）と Snap が共同で Snap の「ユーザー サービス」マイクロサービスのレイテンシを 96% 短縮し、最終的には、パフォーマンスを許容範囲内に維持しながらマルチクラウド環境でデータ分析を行える
Apache Beamって何
年 名前 何 2004 MapReduce 大規模データの分散処理フレームワーク。Google発表。 2006 Apache Hadoop 大規模データの分散処理フレームワーク。 参考：分散処理技術「Hadoop」とは（NTTData） 2007 Apache Cassandra Facebookが開発した分散データベース(key-value)。 2010 Apache Hive Hadoop上で動作するDB。HiveQLでデータ操作ができる。 2010 Apache HBase GCPのBigTableをモデルとした分散データベース。 2011 Apache Kafka スケーラビリティに優れた分散メッセージキュー。 2014 Apache Spark 大規模データの分散処理フレームワーク。 参考：Apache Sparkとは何か（@IT） 2016 Apache Beam 大規模データ
redisとmemcachedのベンチマークをmemtier-benchmarkで取る - ふわっとしたやつ
これは何 redisとmemcachedのベンチマークを memtier-benchmark というツールで取った。 ざっくりまとめておく。 github.com memtier-benchmark と redis-benchmark の比較 主にmemtier-benchmarkのメリット。redis-benchmarkにできないこと。 redis, memcache の両方のプロトコルを喋れる（redis-benchはredisのみ） SET/GETの重み付けができる（redis-benchはそれぞれ別に全力で投げる） keyとvalueサイズを変えられて（redis-benchはkeyサイズを変えるのが大変。valueサイズはどちらもオプションで変えられる。） memtier-benchmark のインストール 概ねREADMEどおりにできた。 インストールしたlibevent-2.
Introducing Amazon MemoryDB for Redis – A Redis-Compatible, Durable, In-Memory Database Service | Amazon Web Services
AWS News Blog Introducing Amazon MemoryDB for Redis – A Redis-Compatible, Durable, In-Memory Database Service Interactive applications need to process requests and respond very quickly, and this requirement extends to all the components of their architecture. That is even more important when you adopt microservices and your architecture is composed of many small independent services that communica
Redis Cluster 覚え書き - Qiita
Redis Cluster についてのメモ。 Redis 3.0 で正式に追加された機能。 実験的な実装としては以前からあった。 公式情報 (release) Redis 3.0.0 is out. - Google グループ ... Redis 3.0.0 リリースアナウンス。 Redis Cluster Specification ... 仕様詳細 Redis cluster tutorial ... クラスタ機能を試すことができるチュートリアル 概要 Redis Cluster 機能を使うと、Redis インスタンスをクラスタリングすることができる。 通常のレプリケーション構成ではなく、複数の master ノードを束ねて協調動作させ、クラスタ全体で保持するデータ量をスケールアウトさせることができる。 特徴 Redis の単一キーのコマンドはすべてサポート Redis の複数キーのコ
| bravesoft ブレイブソフト（東京）
こんにちは、hoge太郎です。 もうすっかり寒くなってきましたがプロジェクトのお陰でだいぶ暖かい今日この頃です。 さて、今回は最近のプロジェクトで良く導入しているredisについて記載したいと思います。 https://redis.io/ redis、使っていますか？ 一昔前はmemcachedが良く使われていましたが、 memcachedよりも豊富な機能があって最近はどんどんredisに変わってきているようです。 弊社でも色々な用途で利用しているのですが、 redisのプロセスが落ちるとサービス障害に繋がるという状況を避ける為に redis sentinelを利用して監視、自動フェールオーバーを実現しております。 しかしあまりにガッツリ利用していると単一のredisサーバーに接続が集中してしまい、 そろそろ負荷分散を考える必要が出てきました。 アプリケーション側でキーによって接続先のre
Redis Clusterの構築 | iret.media
2015/4/1 にRedis 3.0 がリリースされ、クラスタ機能がサポートされてます。 主に概要部分のSpecificationを翻訳していただいている方いますので、こちらが参考になります。 https://gist.github.com/key-amb/c641947a2139fdd81684 構成 最低3台でクラスターが構築可能だが、冗長性の確保のためにスレーブが必要。 最小構成は6台となる。 検証等であれば、6つのプロセスを起動してRedis Clusterを構成する。 本番は6サーバで構成する。 yum sudo yum install gcc gem gem install redis redis wget http://download.redis.io/releases/redis-3.0.5.tar.gz tar zxvf redis-3.0.5.tar.gz cd r
[メモ] Laravelでマスタ／スレーブ設定のRedisを使う - Qiita
ほんとにメモです． マスタ／スレーブ形式でのレプリケーションを設定したRedisにアクセスする場合，読み込みはスレーブ，書き込みはマスタに行う必要があります．が，なんだかWeb上の情報のままだと上手く行かなかったので，Laravel::Redis, Predis のソースを追いかけて追いかけて追いかけて，やっと上手く動きました． 使用バージョン：Laravel-5.1 環境 Master 書き込みはマスタに行う IP: 192.168.100.100 Port: 6379 Slave 参照専用 IP: 192.168.100.101 Port: 6379 設定ファイル 'redis' => [ 'cluster' => true, 'master' => [ 'schema' => 'tcp', 'host' => '192.168.100.100', 'port' => 6380, 'a
![[メモ] Laravelでマスタ／スレーブ設定のRedisを使う - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/89b4c57c79a55bb76580438c5dcec195126740d8/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUUzJTgzJUExJUUzJTgzJUEyJTVEJTIwTGFyYXZlbCVFMyU4MSVBNyVFMyU4MyU5RSVFMyU4MiVCOSVFMyU4MiVCRiVFRiVCQyU4RiVFMyU4MiVCOSVFMyU4MyVBQyVFMyU4MyVCQyVFMyU4MyU5NiVFOCVBOCVBRCVFNSVBRSU5QSVFMyU4MSVBRVJlZGlzJUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJTg2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iNzc4MGVmNDM0OGIyMjNjMTdmNmM4MTFlYTc4OGIxYw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBkZXYtaWtlZGEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ0ZGZmMzE0ZjFmYmE5YTc4OGQwNzhiYzVhYmJiNjNi%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9c9c826f46898d67962775b887d479a3)
LaravelのキャッシュでRedisを使う - ECサイト運営開発記
PHPフレームワークのLaravelでキャッシュエンジンをRedisにしてみた。以外と、すんなり言ったので、記事を残しておく。 Redisの概要 オープンソースのkey/valueなデータストア インメモリデータベースで非常に高速に動作する ファイルキャッシュするよりいいらしい。 レプリケーションも可能で、非常に簡単らしい。 設定ファイルにちょこっと記述するだけ Redisのインストール Linux版 -http://9ensan.com/blog/server/sakura-vps-redis/ Windows版のインストーラー -https://github.com/rgl/redis/downloads Windowsのサービスで自動起動するように設定。 デフォルトでは自動起動するように設定されてなかったので、一応、確認のため。 Laravelでの設定。 application/co
RedisサーバのCPU負荷対策パターン - ゆううきブログ
Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R
ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips
近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大きいので内部の 取得時間差はトータルで考えると多くの場合誤差です. 特に RDB の主キーのみで取得できるようなデータを Redis にキャッシュすることに メリットはありません. キャッシュするコードを書くコストの方が高くつきます. キャッシュするのは R
ソシャゲエンジニアの自分がコードレビュー時に重視する箇所33選 【随時追加】 - Qiita
コードレビューで土日に安寧を ソーシャルゲームは、ユーザアクセス集中と、それに伴うユーザデータ増加によって劇的に負荷が上がり、（主に土日に）サービスに影響を与えがちです。 問題があるコードは、たとえ負荷テストを行っても、作成したシナリオによっては見つけられない可能性もあります。 そういった見えない不安を払拭するという意味でも、コードレビューは重要だと思っています。 【ステキポイント】 ・ ソースを見ることにより、時限爆弾が土日に爆発するのを解除 ・ スキル共有によってメンバーがレベルアップすることにより、土日に爆発する時限爆弾の設置確率低下 まぁまとめると これに尽きます（4歳の息子談） 今は、gitのプルリクエストという強力なレビューツールもあり、敷居がかなり低くなったのでオススメです！ チェックするポイントは5つ コードレビューを行うにあたり、「どんなところをチェックすればいいのか分か
非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開
RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開した「Dynomite」（ダイナマイトとは綴りが違うのに注意）は、こうしたデータストアを分散データベース化し、高速なデータストアの特長を活かしつつ高いスケーラビリティや可用性を実現するためのソフトウェアです。 アプリケーション側でシャーディングのような面倒なデータ構造を設定することなく、RedisやMemcachedをノードとし、CassandraやAmazonクラウドのDynamoDBのような大規
Pairy : チャットデータを Redis から Amazon DynamoDB に全移行した話（１） - Tech Blog
CTOの椎名アマドです。 今回は、Pairyのチャットデータを全てRedisからAmazon DynamoDBに移行した話をしたいと思います。 我々が 2012年6月に カップル専用アプリ Pairy をリリースした時には、 データベースは MySQL と Redis の両方を利用するところで始めました。 Redis の役割は： 1. MySQLレスポンスのキャッシュ 2. プッシュ通知等のキュー 3. チャットのデータを全保管 サービスローンチ直後はまだ Appサーバー(EC2)１台と、MySQL & Redisを両方走らせてる DBサーバー(EC2)１台で十分だという判断で、しばらくはそんな構成でやってました。（S3などは省略） しかし、いざサービスが成長してくるともちろん MySQL & Redis を１台でまかなうのはキツくなり、MySQL と Redis を別々のEC2インスタン
Redis勉強会資料(2015/06 update)
Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - redis/rueidis: A fast Golang Redis client that supports Client Side Caching, Auto Pipelining, Generics OM, RedisJSON, RedisBloom, RediSearch, etc.
Redis Streamsを活用したイベントドリブンアーキテクチャの構築事例 - DMM inside
php-resque を試す - Qiita