Elasticache Redis クラスターの高い CPU 使用率を修正する
簡単な説明 ElastiCache for Redis には、以下の 2 つの Amazon CloudWatch CPU メトリクスがあります。 EngineCPUUtilization: このメトリクスは、Redis エンジンスレッドの CPU 使用率を報告するものです。Redis はシングルスレッドのため、vCPU が 4 つ以上のノードの EngineCPUUtilization メトリクスをモニタリングするのがベストプラクティスです。 CPUUtilization: このメトリクスは、ホスト全体の CPU 使用率の割合 (%) を示します。vCPU が 2 つ以下の小規模なノードの場合は、CPUUtilization メトリクスを使用してクラスターのワークロードをモニタリングします。 解決方法 高い EngineCPUUtlilization EngineCPUUtilizati
いまさらGoでElasticache Redisの負荷・障害試験をがっつりしてみた
こんにちは、 株式会社アプリボット、バックエンドエンジニアの小川詩織です。 今回はgolangで開発中の新規プロジェクトのため、ElasticacheRedisに関する検証を行いました。 かなり長くなってしまいましたが、参考にしていただければ幸いです。 以下、検証内容になります。 まえおき 検証のための実装にはgolangを用い、 go-redisによるElasticache Redisについての検証になります。 また、ゲームで良く活用される Ranking機能 の実装を想定した検証を行いました。 Ranking機能実装のためにRedisは ソート済みセット型 を用います。 Ranking機能についての想定なので、同一ランキングはkeyも同一になり、 Shardを増やしても負荷分散できないため全て Shard=1 として検証を行います。 また、Redisの 要素数は1000万件 用意しまし
Elasticache Redisのバージョンアップ時にノードはどう入れ替わる? | DevelopersIO
クラスターを組んでいない Elasticache Redisの場合 バージョンアップの流れ バージョンアップを実行 全ノードの CacheClusterStatus が modifying になる レプリカノードが順次バージョンアップされる 全レプリカノードのバージョンアップが完了 レプリカノードがプライマリに昇格し、プライマリエンドポイントはその新ノードのIPアドレスを返す 旧プライマリノードがバージョンアップされる 全ノードの CacheClusterStatus が available になる Redis インスタンスの作成 クラスターモードを無効 Multi-AZ with Auto-Failover を有効 レプリカ数を1 Redis バージョンを 4.0.10 で作成します。 エンドポイント 非クラスターモードでは、書き込みはプライマリノード1台に対してのみ可能です。 このノー
ElastiCache + Redis に出てくる概念と、クラスタモードごとの違い - nyamadoriの日記
はじめに Web サイト表示速度向上の一環として、仕事で、ElastiCache + Redis によるキャッシュ層を導入する。 導入にあたり、ElastiCache + Redis で利用するノードタイプ（インスタンスタイプ）や、制限などの事前調査が必要になった。 ElastiCache + Redis は、ノードタイプやクラスタの種類によって、機能サポートが異なり、混乱するところが多々あったため、AWS のドキュメントを参考に、分かりにくいところをまとめた。 これから導入する段階なので、AWS のドキュメントの内容以上のことは書いていません。 運用についてとか、ハマったところなどの記述はありません。 内容におかしいところがあれば教えてください 概念 実際に使うかどうかに関わらず、シャードやレプリカという用語がバンバンでてくるので、まとめる。 参考: http://docs.aws.am
結局のところmemcacheとredisどっちがいいの？という問題に対する私的結論サマリ - Qiita
問題の概要 memcacheはもう古い！ 次はRedisだ！ と言われてから幾星霜、意外とあちこちで生き残っているmemcache。新規でmemcache使ってるというお話もちらほらと耳にするけれど、実際のところそれいいの？ どうなの？ どっちがいいの？ ということで自分なりの結論を出すために調べてみました。 まずは結論 悩んだらRedis その理由 memcacheとredisは、費用面、パフォーマンスについては大差はない。 唯一、使用するメモリ量がredisのほうが若干多くなりやすいらしいけれどそれも格納するデータの内容次第で必ずしもそうであるとは言い切れない（らしい）。 いっぽうで使用しなくなったメモリの解放についてはRedisのほうが優秀。（FLUSHの時だけの可能性はある） 個人的には初期の学習コストも変わらないと思う（どっちも簡単）（素晴らしい） memcacheのできることは
AWS Lambda、Amazon Route 53、および Amazon SNS を使用して、Redis クラスター用 Amazon ElastiCache (クラスターモードが無効) のリードレプリカエンドポイントを監視します | Amazon Web Services
Amazon Web Services ブログ AWS Lambda、Amazon Route 53、および Amazon SNS を使用して、Redis クラスター用 Amazon ElastiCache (クラスターモードが無効) のリードレプリカエンドポイントを監視します Redis 用 Amazon ElastiCache では、アプリケーションが指定されたエンドポイントを使用して ElastiCache ノードまたはクラスタに接続します。Redis 用 ElastiCache ユーザーガイドのRedis 用 ElastiCache コンポーネントと機能によると、複数のノードを持つ Redis (クラスターモード無効) クラスターには次の 2 種類のエンドポイントがあります。 「プライマリエンドポイントは、プライマリロール内の特定のノードが変更された場合でも、常にクラスタ内のプ
Amazon ElastiCache Redis の各パラメータについてまとめてみた ｜ DevelopersIO
おはようございます､加藤です｡Amazon ElastiCacheのRedisを利用する際に､どのように設計・設定すれば良いのかをまとめてみました｡ Redisとは RedisはOSSのインメモリ型キーバリューストアです｡ ちなみに名称はREmote DIctionary Server の略語です｡ Redisを扱うのが初めての方はまず下記のリンク先を読むことをおすすめします｡ Redis とは? - Amazon ElastiCache（キャッシュ管理・操作）| AWS ElastiCache for Redisとは AWSによって提供されるマネージドなRedisです｡Redisを使用してる既存のアプリケーションならばほとんど変更なしに移行することが可能です｡ キャッシュノードの障害の自動検出と復旧。 障害が発生したプライマリクラスターの、レプリケーションをサポートする Redis クラ
Amazon ElastiCache for Redis とは - Amazon ElastiCache for Redis
Amazon ElastiCache は Redis エンジンと Memcached エンジンの両方で動作します。関心のあるエンジンのガイドを使用してください。必要なエンジンがわからない場合は、このガイドの「Memcached と Redis の比較」を参照してください。 ElastiCache for Redis の概要 Redis を使用する既存のアプリケーションは、ほとんど変更することなく ElastiCache を使用できます。アプリケーションに必要な情報は、デプロイした ElastiCache ノードのホスト名とポート番号だけです。 ElastiCache for Redis には、重要な本番稼働用環境へのデプロイに対してサービスの信頼性を高めるのに役立つ複数の機能があります。 キャッシュノードの障害の自動検出と復旧。 レプリケーションをサポートする Redis クラスターでの、
Amazon ElastiCache (Redis)のMulti-AZを構成する | DevelopersIO
2014/10/28更新 : プライマリノードの切り替えについて追記しました。 ども、大瀧です。 本日、AWSのキャッシュサーバー as a ServiceのElastiCache(Redis)にMulti-AZ機能がリリースされました。早速試してみたので、レポートしてます！ Multi-AZ機能とは Multi-AZ機能とは、Amazon RDSで提供されている、AWSのデータセンターであるアベイラビリティゾーン(AZ)レベルの障害に対応する可用性機能です。 ElastiCache(Redis)では、従来から複数AZへのキャッシュノードの配置とノード間レプリケーションがサポートされていましたが、プライマリーノードのフェイルオーバーが手動でした。キャッシュノードの障害検知とプライマリーノードの自動フェイルオーバーが今回のアップデートで追加されたと考えると良いでしょう。 RDSのMulti-
過負荷に耐えるWEBサービス作成のための使えるPHPキャッシュテクニックまとめ:phpspot開発日誌
過負荷に耐えるWEBサービス作成のための使えるPHPキャッシュテクニックまとめ。 サービス展開というとOSのチューニングや各種インフラソフトウェアのチューニング、更にはWEBアプリプログラム自体の効率化と、幅広い知識が必要になってきますが、PHPでWEBアプリを作る際によく効くキャッシュテクニックを用途・使いどころ別に説明します。 キャッシュをうまく効かせることで大幅に計算量を減らしてより多くのリクエストを少ないマシンで捌くことが出来、コストを下げたり、過負荷の悩みを減らせます。 個人レベルでのWEBサービス開発の場合、サーバ代がお財布を大きく圧迫しますが、最低のコストでサービスを賄うことに繋げられます、ということでPHPでサービス作ってやろうと思っている人は参考にしてみて下さい。 static変数でキャッシュ 特に何も入れなくてもそのまま使えるstatic変数。例えば、関数等で一定の計算
Redis勉強会資料(2015/06 update)
Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。
redisのまとめ
http://gihyo.jp/dev/feature/01/redis メモリ内にデータを格納するキーバリューストアでNoSQLの一種。 メモリ内にデータを蓄えるので高速に動く。 memcachedとの違いは、memcachedはGETやSETなどシンプルな操作に特化している のに対して、redisはいろいろと複雑な操作ができること。 memcachedは古いデータから順に削除するが、redisは明示的に削除をするか、timeoutを 設定しない限り削除されない 永続化の機能を持っている。すなわち、オンメモリのデータストアの欠点である、クラッシュ したらデータが消えてしまうという欠点をカバーしていて、定期的にデータダンプをする機能 がある。 キーバリューストアのバリューの部分にデータ構造を格納することができる。 リスト、セット、ソート済みのセット、ハッシュなど。 memcachedは特定
インメモリKVS「Redis」を試してみる -導入編- | ビズリーチラボ
初めまして。昨年12月入社の芹沢です。エンジニアとしてはまだまだ未熟者ですが、よろしくお願いします。 今回は私の個人的趣味で、キーバリューストアの『Redis』を試してみたいと思います。今回は導入編です。 1.Redisってなーに？ Redisはキーバリューストア型のデータキャッシュサーバです。memcachedとかと同じ系統のキャッシュサーバに該当します。 オープンソースで開発されておりBSDライセンスでリリースされています。 詳細はこちらに日本語ドキュメントがあります。 2.主な特徴 キャッシュサーバというとmemcachedがかなり有名ですが、memcachedとの違いという観点で特徴を紹介します。 1.データがハードディスクにも保存される memcachedの場合、データは全てメモリ上に保存され出し入れされます。 そのお陰でハードディスクを使用するRDBよりも高速な処理を可能
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
Redis Sentinel で冗長構成を組む際の注意点 : DSAS開発者の部屋
KVS界隈ではすっかりおなじみ(?)のRedisですが、当社でも徐々にそのニーズが高まってきました。 標準機能として、レプリケーション、Pub/Sub、ソート等の便利機能が満載のRedisですが、サービスに投入する際に冗長構成をどう組むかといった点が気になっている方もいるのではないでしょうか。 まだまだ検証中ではあるのですが、Redisに実装されているRedisSentinelを用いて冗長構成を組んだ際にハマった所をご紹介したいと思います。 RedisSentinelとは Redisに標準実装されている機能の一つで、Redisのステータス監視、通知、自動フェイルオーバーが行なえます。 詳細な仕様、設定に関しては以下のドキュメントをご確認下さい。 http://redis.io/topics/sentinel RedisSentinel導入前の構成 特に何の変哲も無い構成です。 Redisサ
FluentdとRedisを使ったランキング機能の実装 | SmartNews開発者ブログ
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
Redis on EC2
Redisを使ったランキング機能の実装