Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
ゆけ ! Amazon ElastiCache 警察 ～第一部コンテナを学習するの巻～ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
呉 : 「あー今日も Amazon ElastiCache の誤字をみつけなければ。なんでこんなに、Amazon ElasticCache と間違える人がおおいのだろうか。テキストなら検索すれば引っかかるけれども、画像にされると見つけるのが大変なんだよなぁ」 そうです。呉は機械学習ソリューションアーキテクトとして働く傍ら、Amazon ElastiCache の誤字を見つけては訂正依頼を出すのを日課としていたのです。 呉 : 「あ、そうだ ! 私は機械学習ができるから、画像で誤字を判別するモデルを作れば自動化できるぞ !」 思い立ったが吉日、早速 Amazon ElastiCache の誤字を見つけるモデルを作るべく、買ったばかりのお気に入りの PC を開きました。 呉 : 「まずは教師データを作らないとね。教師データなんて簡単に作れるさ ! 文字を書いた画像いっぱい作ろう。」 どんな時で
ElastiCache redisの運用 重要な初期設定 | 優技録
このままだとEC2のAutoScaling等で削除した後もコネクションが残っては溜まり続けて障害に繋がる危険性があるのです。だからシステムに合わせて適切に設定していきます。 具体的には60秒あたりが無難 リリース時の注意 timeout設定(コンソールにて設定) Cache Parameter Group新規作成 新規作成したCache Parameter Groupのパラメータを編集します timeout 0 → 60 Cache Parameter Groupの付け替え 3-1. [Cache Clusters]⇒[対象を選択]⇒[Modify] 3-2. Cache Parameter Groupのセレクトボックスから新規作成したグループを選択して【Modify】をクリック キーに必ずtimeoutを設定しておくこと キーにTTLの設定を必ず行って下さい 必ずTTLが減少して消えてい
AWS ElasticCacheのRedisをDefault設定で使ったときのConnection Leakの解決方法 - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
現在、弊社にて提供しているサービスのほぼ全てにおいてAWS(Amazon Web Service)を利用しており、その中でも頻繁にアクセスが必要なデータについてはElasticCacheのRedis/Memcachedを利用しています。今回は、そのElasticCacheでRedisを利用する場合において、弊社の運用で発生してしまったトラブルと対応方法について紹介させていただきたいと思います。 TL;DR AWS ElasticCacheのRedis ServerのDefaultのパラメータ設定では、Connection Timeoutの設定がされていないので、そのまま放置するとConnection数が溜まり続けて危険ですので、ConnectionのTimeout設定を行いましょうというお話になります。 今回発生した問題 Blue-Green Deploymentを多用して何度もデプロイを
ElastiCache (Redis)のクラスターモードの作成メモ - Qiita
概要 ElastiCache (Redis)のクラスターモードの作り方を確認した時のメモです。 環境 ElastiCache Redis 4.0.10 参考 Redis 用 Amazon ElastiCache Amazon ElastiCache のドキュメント Command reference - Redis Redis latency problems troubleshooting redis-cli, the Redis command line interface ElastiCache (Redis)をクラスターモードで作成する クラスターを作成する 「クラスターモードが有効」にチェックを入れます 「シャード数」に3、「シャードあたりのレプリカ」に1を指定すると、マスターノードが3つ、それぞれのマスターに1つのスレーブノードが作成されるので、計6ノードが作成されます。 1つ
Amazon ElastiCache を Redis 向けに設定して可用性を高める | Amazon Web Services
Amazon Web Services ブログ Amazon ElastiCache を Redis 向けに設定して可用性を高める 現在、Amazon ElastiCache という名前は、リアルタイムアプリケーションと同義に捉えられるようになりました。Redis の性能の高さ、シンプルさ、そして多様なデータ構造へのサポートは、非リレーショナルのキー値ストアとしては、最も人気のあるものの 1 つです。ビジネスに不可欠なリアルタイムのユースケースが Redis 上で増加する中で、可用性の保証は重要な課題となってきています。 高い可用性を実現するため、Redis 用 Amazon ElastiCache では Redis クラスターの設定をサポートし、すぐれたスケーラビリティと可用性を提供します。加えて Amazon ElastiCache では、自動フェイルオーバー機能を持つ複数のアベイラビ
メンテナンスのヘルプ - Amazon ElastiCache | AWS
Amazon ElastiCache 群は頻繁にアップグレードされており、パッチやアップグレードがシームレスにインスタンスへと適用されます。これは、次の 2 つの方法のいずれかで行います。 (a) 継続的な管理メンテナンスの更新、(b) サービス更新。これらのメンテナンスとサービスの更新は、セキュリティ、信頼性、運用パフォーマンスを強化するアップグレードを適用するために必要となります。 継続的な管理メンテナンスは、お客様からのアクションを必要とせずに、時々メンテナンス期間中に直接行われます。 サービス更新により、ご自身で適用できる柔軟性が得られます。時限があるため、メンテナンス期間に移動して、期日が過ぎた後に適用される場合があります。 予定されたメンテナンス期間に先駆けて、いつでもご自身で更新を管理することもできます。更新をご自身で管理する場合、インスタンスの OS 更新はノードの再作成時
Amazon ElastiCache for Redis とは - Amazon ElastiCache for Redis
Amazon ElastiCache は Redis エンジンと Memcached エンジンの両方で動作します。関心のあるエンジンのガイドを使用してください。必要なエンジンがわからない場合は、このガイドの「Memcached と Redis の比較」を参照してください。 ElastiCache for Redis の概要 Redis を使用する既存のアプリケーションは、ほとんど変更することなく ElastiCache を使用できます。アプリケーションに必要な情報は、デプロイした ElastiCache ノードのホスト名とポート番号だけです。 ElastiCache for Redis には、重要な本番稼働用環境へのデプロイに対してサービスの信頼性を高めるのに役立つ複数の機能があります。 キャッシュノードの障害の自動検出と復旧。 レプリケーションをサポートする Redis クラスターでの、
Amazon ElastiCache for Redis とは - Amazon ElastiCache for Redis
Amazon ElastiCache は Redis エンジンと Memcached エンジンの両方で動作します。関心のあるエンジンのガイドを使用してください。必要なエンジンがわからない場合は、このガイドの「Memcached と Redis の比較」を参照してください。 ElastiCache for Redis の概要 Redis を使用する既存のアプリケーションは、ほとんど変更することなく ElastiCache を使用できます。アプリケーションに必要な情報は、デプロイした ElastiCache ノードのホスト名とポート番号だけです。 ElastiCache for Redis には、重要な本番稼働用環境へのデプロイに対してサービスの信頼性を高めるのに役立つ複数の機能があります。 キャッシュノードの障害の自動検出と復旧。 レプリケーションをサポートする Redis クラスターでの、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
