Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装
Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装 Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。 このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」が登場しています（開発元のアナウンス、GitHub）。 Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。 これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。 採用した主な技術
ElastiCache Redis Engineのベンチマークともろもろ - まめ畑
Amazon Web Services Blog: Amazon ElastiCache - Now With a Dash of Redis で本日ElastiCacheでRedisが使えるようになりました。今まではmemcachedだけでした。 (同時にAmazon Web Services Blog: More Database Power - 20,000 IOPS for MySQL With the CR1 Instance も発表されています) 基本的なこと 機能 Replication GroupsによるRedisレプリケーションのサポート Replication Groupsは1ノード毎にSlaveとなる、Endpointは各ノード毎にアサインされる Masterへは統一のEndpoitが与えられ、Read replicaをmasterにpromoteしてもendpoin
Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013
4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基本的に複雑なものだ。コミュニティもまだ十分ではない。 私たち
NoSQLの現状
このため、NoSQLの知識を持つ開発者やアーキテクトに対する需要が高まってきています。最近の調査によると、最近必要とされる開発スキルは次の通りです。 HTML5 MongoDB iOS Android Mobileアプリ Puppet Hadoop jQuery PaaS ソーシャルメディア 技術的要求のトップ10の中で、NoSQLデータベースは2つあります。1つは、iOSよりも上です。これがNoSQLをほめているのでなかったら、何なのでしょう?! しかし、一見したところ、NoSQLはますます速く深いところまで適用されるようになっています。2011年の夏に、有名な報告書の中でOracleは次のように述べました。NoSQL DBがアイスクリームの味のように感じるかもしれないけれど、あまり深入りしない方がいい、NoSQLはそれほど長く残らないかもしれないから。そのわずか2、3ヶ月後、Oracl
AWS News Blog
Amazon Q Business, now generally available, helps boost workforce productivity with generative AI At AWS re:Invent 2023, we previewed Amazon Q Business, a generative artificial intelligence (generative AI)–powered assistant that can answer questions, provide summaries, generate content, and securely complete tasks based on data and information in your enterprise systems. With Amazon Q Business, yo
IBMもNoSQLデータベースを製品化へ。オープンソースを基に
オラクルがNoSQLデータベース製品をリリースしたのに続き、IBMも企業向けデータベースとしてNoSQLの製品化を明らかにしました。 IBMのデータベースサーバ担当CTOでバイスプレジデントのCurt Cotner氏は、10月23日にラスベガスで開催された同社のイベント「Information OnDemand 2011」で、NoSQLデータベース製品の提供を明らかにしました。来年登場予定で、DB2とInformixユーザーに無償で提供されるとのこと。 同氏の発言は、Information OnDemand 2011のインタビュー動画で参照できるほか、米SearchDataManagement.comの記事「IBM to unveil NoSQL technology inside DB2」が伝えています。 オープンソースのNoSQLデータベースがベース 米SearchDataManage
Oracle NoSQL Database Downloads
Deploying Oracle NoSQL Database on the Oracle Cloud Infrastructure Sign up for NoSQL Database release announcements so we can alert you to future releases and other NoSQL Database product updates. Download this script from GitHub that simplifies the installation of Oracle NoSQL Database on the Oracle Cloud Infrastructure (OCI). This script lets a user set up a small cluster (1-10 machines) quickl
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
memcached-1.4.7-rc1でmixiの大規模障害の原因となったmemcachedの不具合が全て解消されました - blog.nomadscafe.jp
こちらとこちらのエントリーの続き memcached 1.4.6でmixiの障害の原因となったaccept_new_connsがスレッドセーフじゃない件は修正されているはずだったのですが、検証したところ別のスレッド競合による不具合が発生し、Bugは全て解消されてはいませんでした。 この件についてmixiたんぽぽGの森本さんと調査していたところ、memcachedのcommiterにtwitter上で補足され、つたない英語で報告をあげていたら1.4.7-rc1で修正されたのでその報告。 memcached 1.4.6での不具合再現方法 まず、1.4.6で不具合を再現させる方法について。mixiのエンジニアブログと同じように、memcachedは次のオプションで起動し、 $ ./memcached -U 0 -u nobody -p 11222 -t 4 -m 16000 -C -c 1000
Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase comparison :: Software architect Kristof Kovacs
Hello, I’m Kristof, a human being like you, and an easy to work with, friendly guy. I've been a programmer, a consultant, CIO in startups, head of software development in government, and built two software companies. Some days I’m coding Golang in the guts of a system and other days I'm wearing a suit to help clients with their DevOps practices. While SQL databases are insanely useful tools, their
memcachedのaccept_new_connsがスレッドセーフじゃない件がmemcached-1.4.6で修正されたにょ - mixi engineer blog
こんにちは、たんぽぽGの森本です memcached-1.4.6がリリースされました。 mixi大規模障害の原因となった不具合が解消されているとのことなので検証してみました。 動作確認 過去のバージョンで不具合が発生することと新しいバージョン(1.4.6)で不具合が発生しないことを確認するために 負荷テストを行いました。 memcachedの設定は memcached -U 0 -u nobody -p 11222 -t 4 -m 16000 -C -c 1000 -v としました。 -l オプションを指定していないので eth0, lo の二つのネットワークI/Fに対してlistenを行う設定です。 クライアント側のスクリプトは前回と同様にmalaさん作のテストスクリプトを用いました。 ./memcachedos.pl localhost 11222 5 memcached-1.4.4の
memcachedのincr/decrがスレッドセーフじゃない件がmemcached-1.4.6で修正されたにょ - blog.nomadscafe.jp
以前、ここに書いていた、memcachedのincrがスレッドセーフではなく、番号がズレることがある件が 1.4.6 で修正されたようなので検証してみた。 memcached-1.4.6のダウンロードは、memcached.org から リリースノート http://code.google.com/p/memcached/wiki/ReleaseNotes146 検証に使うscriptは以下。 use Cache::Memcached::Fast; use Parallel::ForkManager; my $i=0; while(1) { $i++; my $memcached = Cache::Memcached::Fast->new({ servers => [ { address => "localhost:11211", noreply => 0 } ] , compress_t
大量データの高速処理に向く
大量データのリアルタイム処理などで、リレーショナルデータベース（RDB）以外に「Not OnlySQL（NoSQL）」と総称される用途特化型のデータベースが普及してきた。RDBは、分散処理やPaaS（プラットフォーム・アズ・ア・サービス）対応が進む ここにきて、利用事例も増えてきた。「会員の購買履歴の分析にかかる時間が1日では話にならない。最新の購買履歴を5分でサービスに反映できなければ、販売機会のロスにつながる」。自社開発のNoSQL「ROMA」を、商品のレコメンド（推薦）機能などに展開している楽天の森正弥執行役員兼技術研究所長はこう言い切る。 楽天が処理時間にこだわるのは、会員の購買履歴を解析してレコメンド商品を提示するのに1日かかると、ユーザーが購入した商品と同じものがレコメンドされかねないからだ。楽天の会員数は、2010年9月時点で約6700万人。楽天トラベルの「最近見た宿」をはじ
企業はなぜNoSQLに興味がないのか？
企業のIT担当者の44％がNoSQLを知らず、また17％は興味がない、という結果が、ReadWrite Webの記事「NoSQL? Never Heard of It, Say Most IT Pros」（NoSQL？ 聞いたことないなあ、と多くのIT担当者）で紹介されています。 これは米Information Weekが755人のIT担当者に対して行った結果を紹介したもの。逆に、NoSQLをすでに利用している、もしくはテストしている企業は5％しかありませんでした。 なぜNoSQLは企業のIT担当者にとって興味がないものなのか？ 著名なデータベース研究者であり、またWebスケールに対応した新たなリレーショナルデータベース「VoltDB」の開発なども行っているマイケル・ストーンブレイカー氏が、米国の計算機学会であるACMのWebサイト「Communications of the ACM」に掲
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
後悔しないもんごもんごの使い方 〜サーバ編〜
運用が楽になる分散データベース Riak
これがCassandra
Don't use MongoDB
事例：とある写真共有アプリでのMongoDB
Mongo DBを半年運用してみた
