Smart and Efficient Byte-Range Caching with NGINX
Analytics cookies are off for visitors from the UK or EEA unless they click Accept or submit a form on nginx.com. They’re on by default for everybody else. Follow the instructions here to deactivate analytics cookies. This deactivation will work even if you later click Accept or submit a form. Check this box so we and our advertising and social media partners can use cookies on nginx.com to better
PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
High Performance Ruby行かなかった会議2日目 - #詰んでる日記
チケット持ってなくて1日目行ってないので、当然2日目も行ってません。今日はPerlを書いたり、さよならクロールを貰ったりしました。 さて、今日はRubyKaigiでHigh Performance Railsという発表があったらしいので、Rails 4でのキャッシュ(fragment_cache)の話でも書こうかと思います。既出だったらすみません…。 Cache Digests Rails 4でもfragment_cacheの使い方は変わりません。ただCache Digestsというものが入っていて、キャッシュのキーにdigestが追加されるようになりました。 digestはテンプレートを元に作成されるので、これによりテンプレートが更新された場合にfragment cacheがヒットしなくなり、テンプレ更新時のキャッシュ削除忘れ事故がなくなるわけですね！便利！！ = cache 'aaaa
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
nginx+varnish+apache+phpの環境構築(3) - 雑記
前回と前々回の続き。 今回はvarnishの設定。 各設定の補足はコメントにて記載。 *設定 # # backend # backend app { .host = "app.hogehoge.com; .port = "80"; } # # acl purge setting # acl purge { "localhost"; "127.0.0.1"; } sub vcl_recv { set req.grace = 300s; ## 不正なmethodは拒否 if (req.request != "GET" && req.request != "HEAD" && req.request != "POST" && req.request != "PURGE" && req.request != "BAN") { error 403; } ## purgeの設定 if (req.requ
nginx+varnish+apache+phpの環境構築(1) - 雑記
最近nginxを調べてたのはこれがやりたかったからです。 長くなりそうだから複数に分けます。 環境 OS CentOS6.4 lb nginx1.4.1 cache varnish3.0.3 web(静的) nginx1.4.1 web(動的) apache2.2.15+php5.3.3 構成 Internet ------------------------------- | | | ------------------- | | lb + cache | | ------------------- | | | ------------- ------------- | web(動的) | | web(静的) | ------------- ------------- | ------------- | db | ------------- lb nginxが担当します。 cache v
nginx+varnish+apache+phpの環境構築(2) - 雑記
前回の続き。 というわけで設定を晒してみる。 今回はLBのnginxの設定。 基本設定 nginx.confの設定 worker_processes 1; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { worker_connections 1024; } http { include /etc/nginx/mime.types; default_type application/octet-stream; server_tokens off; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_u
varnish cacheでコンテンツのキャッシュ - うまいぼうぶろぐ
varnish cache リバースプロキシ専用サーバ。キャッシュルールを細かく設定できるので、色々使えそうだし勉強がてら遊んでみた。 http://varnish-cache.org/wiki/Introduction http://varnish-cache.org/docs/ http://d.hatena.ne.jp/keita_yamaguchi/20080107/1199697651 http://dann.g.hatena.ne.jp/dann/20090628/p1 プロダクト環境で使ってなくて、backendはテスト用のapacheなので詳細なことはわかってないけど、まぁまぁ面白げ。 install ubuntuとかならaptで入る。テストサーバが古いfedora coreだったし、せっかくなのでsourceで入れてみた。 $ wget http://sourceforg
キャッシュエンジンの比較（3/3） | IIJの技術 | インターネットイニシアティブ（IIJ）
前回、前々回は、キャッシュサーバに期待される役割と、キャッシュサーバやキャッシュエンジン、特にVarnish Cache、Apache Traffic Serverについて、IIJで行った比較実験の結果を交えて詳しく説明しました。最後に、nginxについて取り上げます。 nginx nginxは、既に紹介している機能のほかに、下記のような特徴を持っています。 非同期のイベント駆動による高速な処理能力 サービスを止めずにバイナリをアップデートできる 豊富な3rdパーティ製モジュール nginxは、既に紹介している他のキャッシュエンジンと同様に、接続を非同期のイベント駆動の仕組みで処理しますが、処理能力はその中でも高く、多くの接続が集中するサイトを運営するにあたり、大きなアドバンテージを持つと言えます。 また、nginxの主なプロセスである、実際に接続を処理するworkerプロセスとそれを管理
キャッシュエンジンの比較（2/3） | IIJの技術 | インターネットイニシアティブ（IIJ）
Varnish Cache Varnish Cacheは、前回述べたVCLという設定ファイルの記述方法において、下記のような特徴があります。 設定ファイルの動的読み込み インラインCによる設定 Varnish Modules（VMODs）による拡張 probeによるオリジンサーバのヘルスチェック まず、Varnish CacheではVCLで記述された設定ファイルをC言語として解釈します。設定をC言語として解釈した後に設定ファイルをコンパイルし、共有ライブラリを作成します。最終的には、Varnish Cacheが設定ファイルから生成された共有ライブラリをリンクすることで、設定が反映されます。このような実装により、Varnish Cacheではプログラムを作成する感覚で、柔軟性に富んだ設定ファイルを作成できます。また、コンパイルした結果をリンクさせているため、全体的に速度向上を期待できるという
Facebook、「Flashcache 3.0」を公開
米Facebookは、「Flashcache 3.xシリーズ」を公開した。平均ヒット率は60％から80％に向上し、ディスク稼働率はほぼ半分に削減できたとしている。 米Facebookは、オープンソースのLinux向けキャッシュモジュール「Flashcache」のメジャーアップデートとなる「Flashcache 3.xシリーズ」を公開したことを明らかにした。読み出し領域と書き込み領域の分散、不要なデータを排除するキャッシュエビクション、ディスクへの書き込み効率の向上の3分野について改善を図った。キャッシュの仕組みを改善したことによって、平均ヒット率は60％から80％に向上し、ディスク稼働率はほぼ半分に削減できたとしている。 Flashcacheは、SSDなどのアクセス速度が高い記憶装置をキャッシュに使うことで、ストレージのI/O性能向上を図る。もともと社内でInnoDB／MySQLデータベー
Nginx に cache purge モジュールを追加する - dogmap.jp
Nginx をリバースプロキシとして使用する場合、キャッシュされたページを削除したくなることがあります。 しかし、素の Nginx ではキャッシュを削除するには、キャッシュディレクトリ配下の全ファイルをすべて削除するしか方法はありません。 （もしくは、設定時間が経過して自動削除されるのを待つか） ページ単位で Nginx リバースプロキシのキャッシュを削除するには、ngx_cache_purge というモジュールを追加することで実現できます。 この ngx_cache_purge モジュールを組み込んだ rpm パッケージを作成する方法を説明します。 rpm パッケージの作成方法については、以前書いたエントリ「nginx 1.0.0 が出てます」を参考にしてください。 このエントリでは、ここまでの作業が終わっているものとして解説します。 Nginx に ngx_cache_purge モジ
nginxでプロキシ&キャッシュサーバー « chibiegg日誌
(多分)一般的なWebサーバーであるApacheは複雑な設定も可能で便利なのですが、その分重いのです。 どう重いのかというと、Apacheは一つのプロセスが一つのHTTPリクエストを同期処理で裁いてるのでその間は他の処理をしません。なので、同時アクセス数が増えるとApacheはプロセスをどんどん生成します。(あるいは後からきたリクエストを待たせる) なので、アクセス数が増えると急激にパフォーマンスが落ちるという問題を抱えてます。(ほかにもプロセスIDが足りなくなってどんなにリソースがあっても最大プロセスIDで制限されてしまう) で、最近話題のハイパフォーマンスWebサーバーがnginx(えんじんえっくす)です。 nginxは一つのプロセスで複数のリクエストを非同期で同時に処理します。なので、アクセス数が増えてもパフォーマンスが落ちにくいという特性があります。特に静的ファイルの場合は処理のほ
Front page | Varnish Community
First beta of my new webapp, SnapReplay.com After a late night working until 2:45am on the finishing touches, my phone alerted me to the fact it was 5:35am and time for the first Live Photostream to take place. The stream? Roger Waters – The Wall, from the Burswood Dome in Perth, AUSTRALIA. Special thanks to Paul Andrews for taking the pictures and [...] Where will Varnish Cache be in 2020? The
cacheのKEY_PREFIX, VERSION, KEY_FUNCTION - スコトプリゴニエフスク通信
Django 1.3ではcacheにKEY_PREFIX, VERSION, KEY_FUNCTIONというオプションが追加されていた。http://docs.djangoproject.com/en/dev/topics/cache/#cache-arguments # settings.py from django.utils.encoding import smart_str def my_make_key(key, key_prefix, version): return ':'.join([key_prefix, str(version), smart_str(key)]) # Cache CACHES = { 'default': { 'BACKEND' : 'django.core.cache.backends.memcached.MemcachedCache', 'LOCA
Adobe HTTP Dynamic Streamingを使ってみた - まめ畑
先日、Adobeから「Adobe HTTP Dynamic Streaming」が公開されたので、使ってみました。 これは、動画ファイルの配信や従来はRTMPなどを使用していたLive配信をHTTPで配信出来るようにするもので、HTTPを使用するため、80番ポートを開けておくだけでよく運用も楽になり、配信されるフラグメントファイルも従来のキャッシュサーバにキャッシュ出来ます。 また、Apacheやキャッシュサーバを増やすだけでスケールが可能になります。 動画データを全て読み込むのではなく、順次フラグメントファイルを要求するので、フラグメントファイルの転送が遅いと再生が止まってしまいます。シーク時にはシーク先の時間に該当するフラグメントファイルから読込みをするだけなので、シーク後すぐに再生が開始されます。 クライアントとしては、Flash Player10.1から対応していて、同時に公開され
Django のキャッシュフレームワーク — Django v1.0 documentation
このドキュメントの Django のバージョンにはセキュリティ上の脆弱性があるため、すでにサポートが終了されています。新しいバージョンにアップグレードしてください！最新の Django のバージョンのドキュメントはこちら 動的な Web サイトの根本的なトレードオフ要因とは、まさに動的であるということ そのものです。ユーザがページをリクエストするたびに、サーバはデータベースへ のクエリからテンプレートのレンダリングやビジネスロジックといった全ての計算 を実行して、サイト訪問者が見るページを生成します。これは、処理のオーバヘッ ドという観点から考えると、ファイルシステムからファイルを読み出すタイプの標 準的なサーバ設計よりもはるかに高くつきます。 ほとんどの Web アプリケーションでは、このオーバヘッドはたいしたものではあり ません。ほとんどの Web アプリケーションは washingt
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Varnish Cache Introductory Book
SDWebImageを1年半使ってみた
GENDOSU@NET
