[B! DB][Redis] skypenguinsのブックマーク

skypenguins id:skypenguins

DBとRedisに関するskypenguinsのブックマーク (3)

Redisで1000万件のデータを圧縮しつつ定期的に洗い替えする - スペクトラム
概要お仕事でRedisを触ってたので知見をまとめる。 Redisは高速はKVSだが、今回1000万件を超えるような大量のデータを扱った。大量のデータをバッチで定期的に書き込んで、参照側では高速に返すシステムを考える。バッチはユーザーの行動を『現在から1日以内にログインしたユーザー』のように時間区切りで条件検索している。そのため、検索する時間が変われば結果も変わるので、定期的に実行してデータを洗い替えている。検索結果は1000万件あっても対応したい。ユーザーがアクセスしてきたときにはこの検索結果の対象かどうか判断して結果を返したい。このユーザーからのアクセスは大量にあるため即座にレスポンスを返さなければならない。洗い替えることによって使わなくなったデータは容量を空けるために削除したい。クエリ結果はユーザーのidなので19475934や59103940のような法則性の薄い数字の列
skypenguins 2023/06/19
Redis

DB
リンク
[PostgreSQL][Redis]redis_fdwを使ってみた
大量のユーザリクエストを Redis に書き込み、foreign data wrapper(FDW) を使って定期的に PostgreSQL にロードするユースケースが PgCon 2013 で発表されていた。 Using PostgreSQL with Redis Using native wrappers and a Foreign Data Wrapper for two-way Redis integration http://www.pgcon.org/2013/schedule/events/574.en.html フロントエンドの Redis では高速にリクエストを処理しつつ、バックエンドの PostgreSQL ではデータウェアハウス的な処理を行うのが狙い。トークでは redis_fdw redis_wrapper の2つの Redis 向け FDW が紹介されている。
skypenguins 2015/11/22
redis

postgresql

redis_fdw

DB

開発
リンク
Twitterのキャッシュを支えるRedis - ワザノバ | wazanova
https://www.youtube.com/watch?v=rP9EKvWt0zo 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 TwitterのYao Yuが、大規模サービスのキャッシュにおいてRedisを活用する取組みについて紹介しています。 1) Redisを採用している理由キャッシュだけで、ストレージとしては利用していない。主なところでは、Twitterのタイムラインで利用している。ホーム画面であれ、ユーザ画面であれ、タイムラインはTweetのインデックスなので、key/valueストア型のRedisを利用するケースとして最適。以前はmemcachedを使っていたが、問題になったのは、タイムラインでおきるread/writeは、（ユーザが閲覧している範囲に追加反映するということなの
skypenguins 2015/11/22
Redis

Twitter

db
リンク
1