Redis、クラウドベンダなどによる商用サービスを制限するライセンス変更を発表。今後はRedis社とのライセンス契約が必須に
インメモリデータストアRedisの開発元であるRedis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。 このライセンス変更により、同社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 下記はライセンス変更を発表した同社ブログ「Redis Adopts Dual Source-Available Licensing」からの引用です。 Under the new license, cloud service providers hosting Redis offerings will no longer be permi
Twitterはタイムラインをどうやってキャッシュしているか - Qiita
Twitterの内部構造を読解してみる 前口上 Twitterのようなマイクロブログサービスでは短時間で書き込みも多く、特にタイムライン周りは単にRDBのデータを出し入れるするだけではスケールしなくなります。 インターネット上に断片ながらTwitterの中の人がアーキテクチャについて解説した記事や動画がいくつか落ちていたので、Twitterがタイムラインをどうやってキャッシュしているかについてまとめてみたいと思います(推測を含みます)。 Twitterのテーブル構造 単純なTwitterのテーブル定義をRDBで定義すると以下のようになると思います。 tweets ツイート id user_id contents tweet_at followers フォロワー source_user_id destination_user_id users ユーザー id user_name timeli
Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装
Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装 Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。 このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」が登場しています（開発元のアナウンス、GitHub）。 Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。 これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。 採用した主な技術
RDBの限界とNoSQLの登場
事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html __NoSQL__の登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャー
広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介 - クックパッド開発者ブログ
メディアプロダクト開発部マーケティングサービス開発グループの我妻謙樹です。クックパッドにおける広告開発システム全般の新規開発・保守・運用を担当しています。 マーケティング事業全般やチーム体制については、前回の記事でご紹介しました。こちらを読んで頂ければ、メディアプロダクト事業部をめぐる組織体制や、マーケティングサービス開発グループの技術スタックについて概要を掴んでいただけると思います。 今回は、その記事でも触れた広告配信サーバーの技術的な取り組みについてご紹介します。その中でも特に、Amazon DynamoDB Accelerator (DAX) の活用に焦点を絞ってお伝えします。 背景 従来、広告をアプリ側で表示させるためには、マーケティングサービス開発グループがオーナーとして開発している広告 SDK を、クックパッド本体アプリに組み込み、非同期に広告配信サーバーにリクエストを行うこと
Linux Conntrack: Why it breaks down and avoiding the problem | Tigera
Linux Conntrack: Why it breaks down and avoiding the problem By Alex Pollitt on Apr 26, 2019 • 6 min read Connection tracking (“conntrack”) is a core feature of the Linux kernel’s networking stack. It allows the kernel to keep track of all logical network connections or flows, and thereby identify all of the packets which make up each flow so they can be handled consistently together. Conntrack i
「全アクセスがmemcachedに行ったら負け」超大量リクエストをさばくフリークアウトの技術哲学
「全アクセスがmemcachedに行ったら負け」超大量リクエストをさばくフリークアウトの技術哲学 アドテクノロジーの雄、フリークアウトのエンジニアは、日々圧倒的な量のリクエストと戦っています。こうしたシビアな世界での仕事は、若きエンジニアをどのように鍛えるのでしょうか。 株式会社フリークアウト。アドテクノロジーに携わる者ならば、その社名を1度は聞いたことがあるでしょう。DSP*1のシェア国内トップクラスである同社は、高い技術力に裏付けされた信頼性の高い広告配信サービスを提供しています。 その安定した技術基盤を生み出すには、メンバーの育成やカルチャーの醸成が必要不可欠です。フリークアウトはいかにして、“強いエンジニアチーム”を作り上げているのでしょうか。 広告配信インフラやデータ基盤などを担うAccelerator divのテックリード本間雅洋（ほんま・まさひろ／@hiratara）さんと、
[CakePHP] memcached を使っている場合のキャッシュクリア方法 | バシャログ。
久々登場、みなさんこんにちは nakamura です。今年こそはベイスターズの優勝を信じて疑いません！ぼちぼちマジック点灯しちゃいますよ！ さてさて今日は CakePHP のちょっとだけ深いお話し。キャッシュの保存先に memcached を使っている場合の問題と対処法についてです。 CakePHP を使っているとどうしてもキャッシュをクリアしたい場面が出てくると思いますが、そんな時みなさんはどうしていますか？ファイルにキャッシュしているのであれば直接削除する人が多いでしょうか 。memcached の場合はどうでしょう？Cake の Cache クラスには clear というメソッドがあるのでこれを使ってシェルを書くのが良いかもしれません。もしくはちょっと乱暴ですが、memcached を再起動しちゃうなんてのもあるかもですね。 大抵の場合これで問題はなさそうですが、実はキャッシュの保存
![[CakePHP] memcached を使っている場合のキャッシュクリア方法 | バシャログ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/c7796aeff850adf4c767f9064eba6e857cd01e20/height=288;version=1;width=512/https%3A%2F%2Fbashalog.c-brains.jp%2Fimages%2Fcat_php.png)
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
【ElastiCache】memcachedのMulti-AZ配置（ゾーンをまたいだノード分散配置）が来ました！！！ | DevelopersIO
Multi-AZ・Single-AZについて表現を改めてました。 RDSなどのデータ同期を含むMulti-AZオプションとは多少仕組みが違うためです。 こんばんは、三井田です Facebookを見てたら、速報を受信しました。 Amazon ElastiCache Flexible Node Placement 従来memcachedエンジンのElastiCacheクラスタは、ノードを全て同じゾーンに配置する仕様でした。 今回の機能拡張「Flexible Node Placement」で、ノードを複数ゾーンにまたがって分散配置できるようになりました。 早速 memcachedのノードを、Multi-AZに分散配置する手順を試してみました。 新規構築 ElastiCache (memcached)エンジンで新規構築する画面を紹介します。 Preference Zoneの選択肢が変わりました。
Gem Dailliでキャッシュ(memcache)を有効活用してRailsを高速化！ - 酒と泪とRubyとRailsと
Gem Dailliでキャッシュ(memcache)を有効活用してRailsを高速化！ Feb 9th, 2013 Tweet 『Dalli』はRailsでmemcachedを使うためのクライアントです。特にWebアプリではアクセスが増えるとデータベース側の負荷が高まり、速度が遅くなってしまいます。そういった問題を解決する手段の一つとしてキャッシュを有効活用するのはすごく大切です！ ちなみにWebアプリにおけるキャッシュ。オレオレ事例 - ゆーすけべー日記のキャッシュについての説明がすごくわかりやすいです！ memcacheとは？ memcacheはデータベースを用いた Web サイトを高速化するために良く用いられるメモリにデータを格納するタイプのKey-Valueストアです。Webアプリでメモリにキャッシュするタイプでは最も有名だと思います。 Macへのインストール MacでHomebr
Scaling Memcache at Facebook | USENIX
by Michael Piatek Responsiveness is essential for web services. Speed drives user engagement, which drives revenue. To reduce response latency, modern web services are architected to serve as much as possible from in-memory caches. The structure is familiar: a database is split among servers with caches for scaling reads. Over time, caches tends to accumulate more responsibility in the storage sta
gumiStudy#2の実践memcached見て来た - こんにちはこんにちはmonmonです！
gumiという会社を今まで知らなかったのですが、memcached勉強会ということで見に行ってきました。 内容的には、memcachedの活用と運用 実践編：特集｜gihyo.jp … 技術評論社と、この前のYokohama.pmでの内容という感じ。 懇親会ではgumiの方と話をして、面白そうな会社だなぁという印象でした。 社長に魅力がありそうだとそれだけで惹かれますね。 以下、発表内容とメモ。 資料と動画も公開されてます。 kazeburoさんの資料 gumiStudy#2 で memcached の運用について喋ってきた - blog.nomadscafe.jp 動画 Ustream.tv: ユーザー gumilab: gumilab 09/14/10 03:31AM, gumilab 09/14/10 03:31AM. コンピュータ Ustream.tv: ユーザー gumilab:
ウノウラボ by Zynga Japan: レディの嗜みについて ～ PHP と Membase と MessagePack と私
こんにちは mayutan です。 ラボブログを書かないとクビだと脅されたのでクリスマスに泣きながら書いておりますが 皆様いかがお過ごしでしょう。 今回のレディの嗜みですが、 レディたるもの、キーバリューストアくらい扱えないとなりません！！！！！！１１１ という事で membase についてご紹介しようと思います。 最近猫も杓子もソーシャルソーシャルわっしょいわっしょい！といった感じで、 これまでのシステムとはまた違った独特の工夫を皆様されていると思うのですが、 memcached を使っている方はかなり多いのではないでしょうか。 ここにプラットフォームから取得した情報や、あまり更新されない情報などを保存して、 DB やプラットフォームへのアクセスを極力減らす、という使い方がメジャーだと思います。 そして、同時に「これ永続化できたらもっと便利なんじゃないの？」って皆思ってるで
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis Adopts Dual Source-Available Licensing | Redis
ポケラボ内製リアルタイム通信エンジンの昇華
60億円の損害を出した 「DMMブックス」 70％OFFキャンペーンでプラットフォームに何が起きていたか
Docker