Redisの25倍のスループットDragonflyを試してみる
インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット
「Goの父」ロブ・パイクの「プログラミング5カ条」、ネット上で話題に
「UNIXはただ死んだだけでなく、本当にひどい臭いを放ち始めている」「キャッシュはアーキテクチャではない。単なる最適化だ」などの語録を生んだ「Goの父」とも呼ばれるロブ・パイク氏の「プログラミング5カ条」について、ネット上で話題となっています users.ece.utexas.edu/~adnan/pike.html http://users.ece.utexas.edu/~adnan/pike.html Rob Pike's Rules of Programming (1989) | Hacker News https://news.ycombinator.com/item?id=24135189 パイク氏の「プログラミング5カ条」は以下。 ルール1：プログラムのどこで処理時間がかかるかはわからない。ボトルネックは意外な場所で発生するので、ボトルネックがどこにあるかを証明するまでは、臆測
PHP: Memcached - Manual
GOTCHA: Recently I was tasked with moving from PECL memcache to PECL memcached and ran into a major problem -- memcache and memcached serialize data differently, meaning that data written with one library can't necessarily be read with the other library. For example, If you write an object or an array with memcache, it's interpreted as an integer by memcached. If you write it with memcached, it's
Redis作者自身によるRedisとMemcachedの比較 | Yakst
Redisの作者antirez氏自らによる、memcachedとRedisの長所短所の比較。特に、Redisを単なるキャッシュ用アプリケーションとしてmemcachedと比較することの間違いと、それぞれの向いている使用方法についての私見。 あなたが私と面識があるなら、私が競合製品があることが悪いと考える人間でないことはご存知でしょう。ユーザーに選択肢があることは本当にいいことだと思っていますし、だからこそ他の技術とRedisを比較するようなことはほとんどしませんでした。 しかし、最適なソリューションを選ぶためには、ユーザーは正しく情報を持たねばならないのも確かです。 この記事を書くのは、有名なライブラリであるSidekiqの作者として知られるMike Perhamが、Redisのバックエンドストレージとしての使い方を書いた記事を読んだのがきっかけです。従って、私はMikeがRedisに「反
apc_fetch() VS Memcached::get() - ローカル環境キャッシュパフォーマンス比較 - 逆襲のWebエンジニア
ローカル環境でのキャッシュは、APCとMemcachedでどちらを使うか？ apc_fetchが手軽に利用できるのでこちらを使ってみましたが、 memcachedでいいんじゃないかと・・・気になったので計測してみました。 ただし、CLI環境です。 テスト環境(DELL PowerEdge R200改) CPU Intel Xeon CPU X3360 2.83GHz (4core) メモリ 8GB HDD 1TB (Hitachi HDT721010SLA360) OS CentOS 6.0 (2.6.32-71.29.1.el6.x86_64) apcの設定 apc.enabled=On apc.enable_cli=On apc.shm_size="128M" 比較に使用したソースコード(PHP) $id = 'testtest'; $test_data = array(); $mem
過負荷に耐えるWEBサービス作成のための使えるPHPキャッシュテクニックまとめ:phpspot開発日誌
過負荷に耐えるWEBサービス作成のための使えるPHPキャッシュテクニックまとめ。 サービス展開というとOSのチューニングや各種インフラソフトウェアのチューニング、更にはWEBアプリプログラム自体の効率化と、幅広い知識が必要になってきますが、PHPでWEBアプリを作る際によく効くキャッシュテクニックを用途・使いどころ別に説明します。 キャッシュをうまく効かせることで大幅に計算量を減らしてより多くのリクエストを少ないマシンで捌くことが出来、コストを下げたり、過負荷の悩みを減らせます。 個人レベルでのWEBサービス開発の場合、サーバ代がお財布を大きく圧迫しますが、最低のコストでサービスを賄うことに繋げられます、ということでPHPでサービス作ってやろうと思っている人は参考にしてみて下さい。 static変数でキャッシュ 特に何も入れなくてもそのまま使えるstatic変数。例えば、関数等で一定の計算
[ソーシャルアプリ] LAMP で作るソーシャルアプリの負荷対策〜アプリとインフラの調和のテクニック〜 - ore*flow
本当は出席する予定だったのですが、仕事の都合により現地には行けず。Ustreamでの視聴となりました。http://www.ustream.tv/channel/social-application-seminarせっかくなので、内容のまとめ。脚注は、メモしておいた自分のコメントを残しています。弊社のソーシャルアプリ「ボクイマ」は、PHPではなくJavaで実装されていることを、前提にしています。 KLabの説明など 2000年8月設立 「DSAS Hosting」というサービスを提供 講演者の方の説明など 森本さん 2006年入社 2009年秋 ソーシャルアプリの担当に 発表内容について 注意点モバイル向けの説明フレームワークは、CakePHP, Symphony などを利用 ただし、個別の話はしないFlashの動的合成の話は、時間制約でしない*1アジェンダ なぜ高負荷対策が必要か？ 高負
Facebookの数千台規模のmemcached運用について - ゆううきブログ
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログの続きとして、Facebook の memcached 運用に関する論文を読んだ。 タイトルなどは以下の通り。 NSDI はネットワークシステムに関するトップレベルのカンファレンス。 Scaling Memcache at Facebook Rajesh Nishtala, Hans Fugal, Steven Grimm, Marc Kwiatkowski, Herman Lee, Harry C. Li, Ryan McElroy, Mike Paleczny, Daniel Peek, Paul Saab, David Stafford, Tony Tung, Venkateshwaran Venkataramani NSDI'13 In Proceedings of the
Redis Sentinelを運用してみたお話 | GMOメディア エンジニアブログ
こんにちは、宇津井です。 弊社ではゲソてんというゲームプラットフォームを運営しております。ゲソてんではサービスリリース当初から主にキャッシュ的な役割でRedisを導入していました。つい先日の事ですが訳あってRedis 2.6からサポートされたRedis Sentinelを採用しました。今回は、採用に至った経緯をご紹介します。 簡単なシステム構成 パフォーマンスは良いし、Memcachedには無い便利な機能を提供するRedisですが約一年間運用していくつかの問題が出てきました。 Redisサーバーが突然高負荷に陥るするとWebサーバーも高負荷に陥るRedisのReplicationは張ってるけどアプリケーション側でRedis Slaveへフェイルオーバーしない（MySQLを直接参照する）Redis落ちると恐らくMySQLサーバーが耐えられない（落ちた事無いけど）という事で対策を行ってきました
memcached再入門 - kotaroito's notes
memcachedを本格的に使う必要に迫られたので、ここでちゃんと理解しておくべく色々調べた。 memcachedとは？ 本家サイトのイントロダクションから抜粋 Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load. Memcached is an in-memory key-value store for small chunks of arbitrary data (strings, objects) from results of database calls, A
HerokuでSinatraでmemcachedしようよ! - hp12c
「NoSQL データベースファーストガイド」(著：佐々木達也) という本を読んでるよ 各種NoSQLのひと通りの説明と それぞれにRubyを使ったサンプルがあって 僕のようなNoSQL知識ゼロ(NoKnowledge) の人にとってはとてもためになるよ 特にサンプルは各NoSQLの利用状況を想定して作られているから 実用的でうれしいよね NoSQLデータベースファーストガイド 作者: 佐々木達也出版社/メーカー: 秀和システム発売日: 2011/04/26メディア: 大型本購入: 8人 クリック: 859回この商品を含むブログ (29件) を見る その中に音楽視聴ランキングサイトの楽しいサンプルがあるんだよ それはGyaoの音楽ランキングに基づいて YouTubeから対応動画を取ってきてリスト表示するというものだよ 一度アクセスしたデータは memcachedを使ってサイト側で保持すること
Fluentdとはどのようなソフトウェア「ではない」のか - tomykaira makes love with codes
2013-12-04 Fluentdとはどのようなソフトウェア「ではない」のか Fluentdとはどのようなソフトウェアなのか - たごもりすメモに触発されて。 設定が簡単なのに惹かれて Fluentd を利用したら、ひどい目にあった。 でもそれは我々のソフトウェアへの理解が不十分だったから。 最初の段階で気が付いていたんだけど、 quick fix で動きそうだからそのまま突き通してしまい、結局ダメになった。 自分でつかってみた人は、だれもそんな使い方しねえだろって思うだろうけど、噂しか聞いていない人はおなじ間違いすると思う。 Fluentdとはどのようなソフトウェア「ではない」のか Fluentd は「リアルタイム転送のためのツールではない」。 リアルタイム処理のためにつかったら破綻する。 なぜ使えないか そもそもの転送速度が低速 (MQ 系や memcached のプロトコルと比較し
memecahe に telnet でつなげるのに飽き飽きしたので、memcache-cli 入れた - Yamashiro0217の日記
memcache に telnet localhost 11211 するのに飽きました このブログにはお世話になりました http://blog.kimuradb.com/?eid=656138 でも、無理です。 set yamashiro 0 0 9 とかミスらないで打つの無理です いつも軽いラッパー書こうかなーとか思いつつ、 cliのツール書くのとか結構だるいとサボってました。 どうせ誰か作ってんだろうと思ってググったらありました。 memcache-cli https://github.com/andrewgross/memcache-cli 入れました $brew install python $echo "export PATH=/usr/local/share/python/:$PATH" >> ~/.zshrc $source ~/.zshrc $easy_install p
AWSブログを3行でまとめる試み#4 : 新サービス AWS OpsWorks を発表するぞ - naoyaのはてなダイアリー
AWS OpsWorks という新サービスを始めたぞ。AWS で動かすアプリケーション全体の管理を集中 & 自動化できるぞ。細かい調整は chef でするんだ。 Stack と呼ばれる設計図みたいなのを作っておくとそこから、ボタン一発で Rails + memcached + HAproxy + MySQL みたいな好きな組み合わせで立ち上げられて、git からアプリケーションコードをデプロイして動かすなんてことができるんだ。しかも Autoscaling の設定とか障害時のインスタンス差し替えも一括でできちゃう! (ドヤァ) OpsWorks の利用には料金はかからない。また今日からもう使えるぞ。びっくりだろう? すみません。今回は内容が濃いいので「まとめる」というか勝手に解釈して3行で書いてます。 cf: http://aws.typepad.com/aws_japan/2013/02
Isucon用Webサーバーrecaro : DSAS開発者の部屋
11/3に開催された #isucon2 に、隣の席の @pandax381 と一緒に、チーム双龍として参加してきました。 結果は惨敗だったのですが、そのレポートを書く前に、 #isucon2 で使う予定だった秘密兵器 recaro について紹介します。 recaro とは recaro はカーネル空間で動く httpd + memcached サーバーです。 httpd サーバーは @pandax381 が作成した tkhttpd で、 memcached は kmemcached というプロジェクトが 未完成のまま放置されていたのを見つけて、私がデバッグ＆高性能化したものです。 (KLab/kmemcached) 通常のnginx+memcachedだと ネットワーク <- TCP/IP ]-> nginx <-[ TCP/IP ]-> Memcached ([] はシステムコール) と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
APCとmemcachedの比較
Simple way to memcache (almost) all database queries :: The Bakery: Everything CakePHP
Laravel - The PHP Framework For Web Artisans
サーバー未経験者がソーシャルゲームを通して知ったサーバーの事
1台から500台までのMySQL運用(YAPC::Asia編)
