RedisやMemoryDBをゲーム開発で活用するには #AWSreInvent | DevelopersIO
このセッションでは、ゲーム開発におけるRedisの利点やMemoryDBの特徴、機能の説明、どのような点がRedisと違うのかといった内容でした。途中、生成系AIを利用しNPCにさまざまなセリフを喋らせる方法についても解説がありました。 こんにちは。ゲームソリューション部の出村です。 AWS re:Invent 2023のセッションである「Building high-performance gaming applications with Redis」のレポートをお届けします。 概要 In this session, explore Redis data structures and the infrastructure prerequisites tailored for real-time gaming applications. These use cases encompass e
Amazon ElastiCache for Redis now supports Redis 7. This release brings several new features to Amazon ElastiCache for Redis: Redis Functions: ElastiCache for Redis 7 adds support for Redis Functions, and provides a managed experience enabling developers to execute LUA scripts with application logic stored on the ElastiCache cluster, without requiring clients to re-send the scripts to the server wi
Redis および Memcached 用の Amazon ElastiCache Serverless が利用可能に | Amazon Web Services
Amazon Web Services ブログ Redis および Memcached 用の Amazon ElastiCache Serverless が利用可能に 11月27日は、Amazon ElastiCache Serverless の提供開始についてお知らせします。これは、お客様が 1 分以内にキャッシュを作成し、アプリケーションのトラフィックパターンに基づいて容量を即座にスケールできる新しいサーバーレスオプションです。ElastiCache Serverless は、2 つの一般的なオープンソースキャッシュソリューションである Redis および Memcached と互換性があります。 ElastiCache Serverless を使用すると、最も要求の厳しいワークロードであっても、即座にキャッシュを運用できます。キャパシティプランニングにかける時間を削減でき、キャッシュ
（本記事は 2018年の技術書展4にて頒布した『WANTEDLY TECH BOOK 4』に掲載した文章です） はじめに Redis の Sorted Set を使った一覧画面の実装パターン Web サービスにおいて Redis の Sorted Set は高速なランキングの実現のためにしばしば用いられる。ランキング・データを Redis に載せることで、高速なデータの取得・ページング・件数計算などが可能になる。ランキングのように順序付けされたコンテンツは Web サービスの一覧画面と呼ばれるページにおいて存在するが、このような画面においてはしばしばリテンションが重要である。レスポンス速度はこのリテンションに対して影響を与えるため、高速な実装が求められる。 一方、時系列で考えた場合、一覧画面の要件はサービスの扱うコンテンツ数が増加するに従って複雑化する。例えば、ユーザーが適切なコンテンツを
ゲームにおけるリーダーボードを Amazon MemoryDB for Redis で再考する | Amazon Web Services
Amazon Web Services ブログ ゲームにおけるリーダーボードを Amazon MemoryDB for Redis で再考する この記事は、”Rethinking Game Leaderboards with Amazon MemoryDB for Redis” を翻訳したものです。 マルチプレイヤーゲームの人気が高まるにつれ、リーダーボードは開発者がユーザー間の競争を活発にするために不可欠なツールになりつつあります。一方で、リーダーボードの基本的な構成は変わっておらず、順位を管理するという同じ目標を達成するにはいくつかの方法があるため、リーダーボードのバックエンドテクノロジーは様々な場面で議論されてきました。この投稿では、Amazon MemoryDB for Redis をリーダーボードバックエンドを支える優れた選択肢として紹介します。このブログでは耐久性を得られつつ、
Take the worry out of managing your MySQL & Redis databases | The DigitalOcean Blog
Our mission at DigitalOcean is to simplify the cloud so you can focus more on building apps and less on managing the underlying infrastructure. To that end, we introduced Managed Databases for PostgreSQL earlier this year, which removes many of the hassles in maintaining PostgreSQL databases. Our team has been hard at work these past few months, and we are so excited to finally launch Managed Data
ElastiCache Redis Service Update をApply Service Updateにおまかせしないで俺が対処する方法 - Qiita
俺です。 このクソ記事に3~5minのダウンタイムあるって書いてたけど間違っていたので訂正してます.実際のダウンタイムはもっと短くprimary failoverにかかるじかんです。 くっそ昔に書いていま役に立つとは思ってなかった記事です。 elasticache-20210615-002(ServiceUpdateSeverity critical)適用時の、実ダウンタイムを短くするためのrougaiテクニックです。 老害テックがんばるぞ。 ElastiCache Redis Self Service Update通知を受けて興奮がさめやらない俺たちのためにメモを残します。 ↓のこいつをポチらずElastiCache RedisのUpdateを行う方法です。 2019/10/11 2:17JST時点ではElastiCache Redis Multi-AZモードを俺俺Service Upd
RedisのAOFファイルをBGREWRITEAOFを使って圧縮した話 - OPTiM TECH BLOG
皆さんこんにちは技術統括本部IDMチームの木村です。 今回は、開発サーバで発生した"Redis::CommandError: LOADING Redis is loading the dataset in memory"に対応した話をしていきます。 こちらのRedisエラーは原因を端的に書いてしまうと、AOFファイルからデータの再構築を行っている最中にアクセスをしてしまったことで問題が起こっていました。 AOFは、Redisの永続化の仕組みのうちの一つで、Redisが受け付けた書き込みのログを保存しているファイルになります。サーバの起動時にこれを読み込むことでデータの復元が出来る様になります。 では実際にどの程度肥大化してしまったのかを調べてみました。docker systemコマンドを使ってディスクの使用量を確認してみると、なんと30Gほど使っていることがわかりました。 $ docker
サービス無停止でRedisを移行した話 - Qiita
はじめに 自分の組織ではRedisのアップグレードに伴って、VPCを移行するニーズがありました。 アップグレードするためだけなら、色々方法はあります。 AWSが公式で推奨する方法は別にありますし、Redisの公式も別です。 この記事では、Rediｓをサービス無停止でのRedis移行に関してをまとめたいと思います。 この記事の想定読者 別のネットワークのRedisにリアルタイムで同期してサービス無停止で切り替えを行いたい人 つまり、 AWSからオンプレミスへ AWSからGCPなど別のクラウドサービスへ NonManagedなRediｓからElastiCacheのようなマネージドサービスへ サービス無停止で切り替えができることと同義かとおもいます。 AWSが提供しているデータ同期サービスDMSは AWS -> xxx のデータ同期ができないです。 なので、サービスで行いたい場合は参考になるかと
RedisにおけるKEYSの危険性、及びSCANによる対処をできる限り簡潔に紹介します。 Redis , KEYSとは ※分かる方は飛ばしてOKです Redisは、KVS型(Key Value Store)データベースの一つであり、オープンソース（BSDライセンス）のインメモリデータ構造ストア(ストレージではなくメインメモリで処理するもの)です。僕の知る限りWebによくあるキャッシュを保存するのに使われることが多いです。 構造は極めて単純で、ひとつのKeyに対して一対のValueがあるというものです。 キャッシュを扱う場合、Keyには「ページの部品のURL」、Valueには「CSSやJavaScriptなど」を保存します。 KEYSは、特定のパターンにマッチするKeyを検索する手法です（Redis(KEYS)）。全てのKeyとパターンを比較するため、時間計算量はO(N)となります(Nはデー
Redis is a popular in-memory data structure server. Historically, Redis has supported a number of ad hoc replication mechanisms, but none guaranteed stronger than causal consistency. Redis-Raft aims to bring strict serializability to Redis by means of the Raft consensus algorithm. We found twenty-one issues in development builds of Redis-Raft, including partial unavailability in healthy clusters,
Celeryや、Redisを利用してDjangoに非同期処理を実装する方法について解説します。今回はMacローカルでの開発環境用に非同期処理の環境を構築し、実際に簡易な関数を実行、DBにバックエンドの内容を保存し結果を画面上に表示するするところまでの解説です。 Djangoこの記事は約 分で読めます。（文字） 非同期処理の利用場面と重要性Djangoを使ってクラウドアプリなどを開発したときに、非常に処理の重い関数などを記述していた場合にはブラウザ経由でアクセスすると大抵サーバのタイムアウト問題等に引っかかります。 サーバのタイムアウトまでの時間を出来る限り伸ばしタイムアウト問題を回避する方法もありますが、処理が終わるまでの時間ユーザにとっては待ち時間となり、その他の操作を行うことができなくなります。 これはUXの観点から言ってもあまり良い状況とは言えません。このようなケースに対してサーバの
Ruby on Rails: Redisを使わないActiveJobのバックエンド「GoodJob」を使ってみるMEMO📝 - Madogiwa Blog
何かしらの非同期なバッチ処理を実装したい場合にはSidekiqをActiveJobのバックエンドとして利用することが多いと思いますが、SidekiqはRedisに依存しており、個人のWebサービスとかでなるべくコストを抑えたいときにはRedisを立てずに実装したいものです。 今回はそういう場合に便利そうなPosgreSQLベースのGoodJobを使ってみたのでMEMO📝 github.com GoodJobとは？ GoodJob is a multithreaded, Postgres-based, ActiveJob backend for Ruby on Rails. good_job/README.md at main · bensheldon/good_job · GitHub 上記の記載の通り、マルチスレッドで動作するPostgresSQLベースのActiveJob backe
Today we’re thrilled to announce Redis Stack. Redis Stack consolidates the capabilities of the leading Redis modules into a single product, making it easy for developers to build modern, real-time applications with the speed and stability of Redis. Prologue At Redis, we’re building a real-time data layer to meet the universal demand for responsive, low-latency applications and services. To build a
GitHub - city-mobil/insecticide: A tool suite for Redis configuration profiling
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - juicedata/juicefs: JuiceFS is a distributed POSIX file system built on top of Redis and S3.
JuiceFS is a high-performance POSIX file system released under Apache License 2.0, particularly designed for the cloud-native environment. The data, stored via JuiceFS, will be persisted in Object Storage (e.g. Amazon S3), and the corresponding metadata can be persisted in various compatible database engines such as Redis, MySQL, and TiKV based on the scenarios and requirements. With JuiceFS, mass
Redisは本当に必要か？PostgreSQLだけあれば十分
この記事は、著者の許可を得て配信しています。 Do You Really Need Redis? How to Get Away with Just PostgreSQL Webサービスやアプリケーションに対応するために、何度も見てきた試行錯誤のアーキテクチャがあります。 データストレージとしてのPostgreSQL バックグラウンドのジョブキュー（および限定的なアトミック操作）を調整するためのRedis Redisは素晴らしいものですが、このスタックの最も一般的な使用例を実はPostgreSQLだけで実現できると言ったらどうでしょう？ 使用例1：ジョブのキューイング 私が見てきたRedisの最も一般的な使い方は、Webサービスからバックグラウンド・ワーカーのプールへのジョブのディスパッチ調整でしょう。そのコンセプトは、（おそらく入力データを使って）実行されるべきバックグラウンド・ジョブの
GitHub - vmihailenco/taskq: Golang asynchronous task/job queue with Redis, SQS, IronMQ, and in-memory backends
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Memcached vs Redis - More Different Than You Would Expect
Cache CollisionMemcached vs Redis - More Different Than You Would Expect Important Note Everything that follows should be only considered accurate at time of publishing. Both projects are not considered finished, and so changes that follow publication could invalidate some or all of the information below. Redis vs Memcached Redis vs Memcached. Another entry to the list of software holy wars with E
Amazon ElastiCache for Redis のデータ階層化を、最大数百テラバイトの容量までクラスターを拡張する低コストな方法として利用できるようになりました。データ階層化は、データをメモリに保存するだけでなく、各クラスターノードに搭載された低コストのソリッドステートドライブ (SSD) を利用することで、Redis のワークロードに新たな料金パフォーマンスの選択肢を提供します。データセット全体の最大 20％ に定期的にアクセスするワークロードや、SSD 上のデータにアクセスする際に追加のレイテンシーを許容できるアプリケーションに最適です。 クラスターでデータを階層化して使用する場合、ElastiCache は、利用可能なメモリ容量が完全に消費されると、自動的かつ透過的に、最近使用された項目をメモリからローカルに接続された NVMe SSD に移動させるように設計されています。
なお、serversはredis://<ホスト名>:<ポート番号>/<db番号>/<ネームスペース>という命名規則です。SSL通信でRedisに接続する場合はredisの部分をredissにします。 たとえば以下のようになります。 config/initializers/session_store.rb Rails.application.config.session_store :redis_store, servers: %w(redis://localhost:6379/0/session), # ホスト: localhost（docker環境の場合はredisコンテナ名） # ポート: 6379 # DB: 0番 # ネームスペース: session expire_after: 90.minutes, # 有効期限90分 key: "_#{Rails.application.cla
ElastiCacheをセキュアに運用できてますか？Redis認証トークンの変更をサポートしましたよ！ #reinvent | DevelopersIO
こんにちは(U・ω・U) 着々とElastiCacheおじさんへの道を歩んでいる深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 さて、僕はラスベガスで開催されたre:Invent 2019にて「Whatʼs new with Amazon ElastiCache」というセッションに参加してきました。 このセッションで「認証トークンの変更をサポートした」と聞きました。ElastiCacheではこれまで認証トークンは構築時に設定できるものの、一回設定したら変更不可でした。なので認証トークンを変更したいなと思ったらクラスターから再作成しなければならなかったのですが、今回のアップデートによりその必要がなくなったということでしょうか。早速実際に動かしてその挙動を確認して
GitHub - redis/ioredis: 🚀 A robust, performance-focused, and full-featured Redis client for Node.js.
ioredis is a robust, full-featured Redis client that is used in the world's biggest online commerce company Alibaba and many other awesome companies. Full-featured. It supports Cluster, Sentinel, Streams, Pipelining, and of course Lua scripting, Redis Functions, Pub/Sub (with the support of binary messages). High performance 🚀. Delightful API 😄. It works with Node callbacks and Native promises.
ついに本日(2020/04/30)、Redis 6.0がGAになりました。 今回も今までの例にもれず、release noteベースに簡単に解説していきます。 過去の記事 Redis 4.0の目玉機能解説 - Qiita Redis 5.0 Update解説 - Qiita あなたは誰 『niconico』が利用している株式会社KADOKAWA Connectedのプライベートクラウドで、Redisのマネージドサービスなどやってます。 https://engineering.kdx.co.jp/ 過去のRedisメジャーバージョンアップ 今までもRedisでは大きな新機能が出るたびに、メジャーバージョンアップを行ってきました。 Redis 3系：Redis Cluster GA Redis 4系：Redis Module対応 Redis 5系：Stream型対応 今までのメジャーバージョン
GitHub - redis/rueidis: A fast Golang Redis client that supports Client Side Caching, Auto Pipelining, Generics OM, RedisJSON, RedisBloom, RediSearch, etc.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは。ABEMA 開発本部バックエンドチームで2ヶ月間、内定者バイトをしていた2024卒内定者の石上敬祐（@kei01234kei）です。 本記事では、私が内定者バイトのタスクの中で Redis リソースをチューニングし、あるワークロードの Redis コストを3割削減した話をご紹介します。 目次 タスク背景 スレッド数とスループットの関係 Redis インスタンス台数と CCU（同時接続ユーザ数）の関係 参考: Memorystore for Redis のリソース設計における注意点 まとめ 最後に タスク背景 ABEMA では Redis のマネージドサービスとして、Google Cloud の Memorystore for Redis を使用しています。 Memorystore for Redis ではインスタンス1台当たりのメモリ容量が増える（正確には容量ティアが上がる）に
RedisをPacemakerで冗長化する
本稿では、Pacemaker/Corosyncを使用してRedisのクラスタを構成する方法をご紹介します。 RedisはSentinelでマスター・スレーブ構成の管理を行うことができますが、最低3個のSentinelが必要になります。また、仮想IPについては自前でスクリプトを作成するなどの工夫が必要になります。 2ノードで完結させたい場合や、その他のリソースもあわせて管理したい場合はPacemaker/Corosyncを使用するのが便利です。Pacemakerには標準でRedisのリソースエージェントが含まれているため、比較的容易にRedisのクラスタを構築することができます。 前提 以下の環境を前提とします。今回はOS標準のPacemakerを使用します。 OS: CentOS 7.4 パッケージ: redis-5.0.5-1.el7.remi pacemaker-1.1.19-8.el
Amazon ElastiCache for Redis が Redis 7 をサポートするようになりました。このリリースでは、Amazon ElastiCache for Redis に新しい機能がいくつか追加されています。 Redis Functions: ElastiCache for Redis 7 で Redis Functions のサポートが追加され、マネージドエクスペリエンスが提供されました。これにより、デベロッパーが、ElastiCache クラスターに保存されたアプリケーションロジックを使用して、LUA スクリプトを実行できるようになりました。接続のたびにクライアントがサーバーにスクリプトを再送信する必要はありません。 ACL の強化: ElastiCache for Redis 7 で、次のバージョンの Redis アクセスコントロールリスト (ACL) のサポートが
はじめに 今後PaaS上での開発に移行するにあたり、Node jsを利用していくことになりました。 その際に使うredisクライアントのライブラリを調査してるのですが、そういやこういうものの調べ方や考えをまとめたことないなと思ったので、後輩とかに共有するためにちょっとまとめてみようと思います。 候補 → ioredis or node-redis まずは候補を探します。 redis公式 がおすすめを提示してくれていましたので、そのまま参考にします。 星マークがおすすめ。ニコちゃんマークは開発が活発なもの(過去6ヶ月で動きがあったもの)です。 以下3 repisitoriesがおすすめに上がっていますね。 ioredis node-redis tedis 最後のtedisだけスター数が少なく、以下redislabsのdocument referenceにもtedisが乗っていないので、こちら
TL;DR Redis Sentinelを使用することで、レプリケーションを構成したRedisのマスター障害時に、フェイルオーバーが可能になる レプリカがマスターに昇格するが、クライアントからのアクセスを切り替える方法はRedis Sentinelは提供しない いわゆる、VIP的なものはない マスター、レプリカのアクセス先の切り替えは、別途考える必要がある マスター、レプリカの他に、Sentinelというプロセスが必要になる Redis Sentinelを構成するには、最低5つのRedisプロセスが必要 マスター × 1 レプリカ × 1 Sentinel × 3 Sentinelプロセスが3つを下回る構成とすることは推奨されない 誤検知防止のため、QUORUMを使用する スケールアウトもしたい、という場合はRedis Clusterを検討する Redis Sentinelは、Redisに
ソフトウェアエンジニアの 9sako6 です。 Ruby でソフトウェアを開発する際、パフォーマンス低下を引き起こすような良くない Redis のクエリが入り込まないよう RuboCop に見張ってもらうようにした話をします。 パフォーマンス低下の実例 私が開発に参加している Web サービスでは、Redis の不適切な使い方がボトルネックとなっていくつかのページのレイテンシーが高まっていました。 主に悪さをしていたのは KEYS クエリです。 KEYS クエリの平均処理時間は約 430 ms でした。これが Web ページのレイテンシーに含まれるのはかなり痛いです。 公式ドキュメント (https://redis.io/commands/keys/ )には、はっきりと本番環境での使用に注意するよう書いてあります。 Warning: consider KEYS as a command t
Getting started with Docker for NodeJs, MongoDB and Redis
Every application we develop rely on several dependencies like platform, database, tooling and technology. Most of my applications require NodeJS, MongoDB and Redis along with NPM to run. We all have installed our favourite software on our machines and we love to use them in most of our applications. But have you ever face any challenges to having the same software in other environments and machin
Getting StartedCreateOverview - All Quick StartsRedis FunctionsRedis on Azure CacheOverviewRedis on Azure CacheRedis on AWSOverviewRedis on AWSDevelopOverviewJavaOverviewGetting StartedSpringOverviewRedis OM TutorialIntroductionWorking with JSONWorking with HashesRedis and Spring CourseOverviewUp and RunningSpring Data RedisMapping & RepositoriesUser Roles & Secondary IndexesBooks, Categories & Th
LangChain の Vectorstore として Azure Cache for Redis を使ってベクトルの格納と検索を行う
はじめに LangChain の Vectorestore として Azure Cache for Redis を使おうとしたときに LangChain のドキュメントを読むだけでは一筋縄ではいかなかったため、一連の手順と参考情報へのリンクをまとめました。 全体として以下の絵のようなことを行います。 方法 1. Python 以下のパッケージを Pyhton 実行環境にインストールします。バージョンは執筆時点での最新版です。tensorflow-datasets は今回使用するサンプルデータの準備に使います。 langchain 0.0.181 openai 0.27.7 (LangChain が使用) redis 4.5.5 (LangChain が使用) tiktoken 0.4.0 (LangChain が使用) tensorflow-datasets 4.9.2 (サンプルデータ準
Redis 7.0 Is Near With "Significant Performance Optimizations" - Phoronix
Redis 7.0 Is Near With "Significant Performance Optimizations" Written by Michael Larabel in Programming on 31 January 2022 at 02:16 PM EST. 13 Comments The first release candidate of Redis 7.0 was made available today. Getting us excited about this updated in-memory key-value database are "significant performance optimizations" among other improvements. Redis 7.0-rc1 comes with performance optimi
Server-assisted, client-side caching in Redis Client-side caching is a technique used to create high performance services. It exploits the memory available on application servers, servers that are usually distinct computers compared to the database nodes, to store some subset of the database information directly in the application side. Normally when data is required, the application servers ask t
データ階層化による Amazon MemoryDB for Redis クラスターのコスト最適化 | Amazon Web Services
Amazon Web Services ブログ データ階層化による Amazon MemoryDB for Redis クラスターのコスト最適化 この記事は Roberto Luna Rojas と Karthik Konaparthi、 Qu Chen によって投稿された Scale your Amazon MemoryDB for Redis clusters at a lower cost with data tiering を翻訳したものです。 Amazon MemoryDB for Redis は、インメモリパフォーマンスとマルチ AZ 耐久性の両方を提供する Redis 互換のデータベースサービスです。MemoryDB は、ユーザーセッションデータ、マイクロサービス間のメッセージストリーミング、支払い処理、ゲームランキング、モノのインターネット (IoT) など、耐久性のあるス
Netflix Builds a Custom High-Throughput Priority Queue Backed by Redis, Kafka and Elasticsearch
InfoQ Software Architects' Newsletter A monthly overview of things you need to know as an architect or aspiring architects. View an example
Binbin Zhu BinBin Wang, of Tencent, is responsible for nearly 25% of the commits to the project. Some of the contributors without a readily identifiable employer surely are Redis employees, but it's clear that the company has not been working alone. (Note that some single-digit contributors were omitted.) Changing distribution model So it should be apparent that code contribution is beside the poi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon ElastiCache adds support for Redis 7
オブジェクト指向プログラミングにおける Redis Sorted Set の抽象化 - Qiita
【Redis】KEYSによるKey取得の危険性とSCANによる安全な対処 - Qiita
Jepsen: Redis-Raft 1b3fbf6
Djangoで非同期処理を実装する方法（Celery、Redis）Macローカル編｜dot blog
Hello, Redis Stack - Redis
Amazon ElastiCache for Redis のデータ階層化を発表
Railsのセッション保存場所をCookieからRedisに変更する方法 | Enjoy IT Life
Redis 6.0.0 GA アップデート内容紹介 - Qiita
内定者が ABEMA ワークロードの Redis コストを3割削減した話
Amazon ElastiCache が Redis 7 のサポートを追加
Nodejsで使用するredis clientは何がベターなのかを調査する
Redis Sentinelを構成してみる - Qiita
Redis のパフォーマンス問題を RuboCop で検知 - ESM アジャイル事業部 開発者ブログ
Redis Anti-Patterns Every Developer Should Avoid
RedisJSON: Public Preview & Performance Benchmarking | Redis
Client-side caching in Redis
The race to replace Redis [LWN.net]