JVNVU#98141012: 複数の CDN サービスプロバイダに HTTP キャッシュポイズニングの影響を受ける問題
コンテンツデリバリネットワーク (CDN) は、バックエンドに置かれた Web サーバのコンテンツを配信するためのプロキシサーバのネットワークであり、効率的な配信のために、コンテンツを一時的なローカルストレージにキャッシュします。 プロキシサーバやバックエンドの Web サーバによる HTTP ヘッダの処理を悪用し、遠隔から細工した HTTP ヘッダを使用して任意のコンテンツを CDN のキャッシュに注入する攻撃を HTTP キャッシュポイズニングと呼びます。 CDN のキャッシュに悪意あるコンテンツが注入されると、対象の Web サイトへのアクセスに対して悪意あるスクリプトが配信され、閲覧者の環境で実行される可能性があります。 CDN は高可用性、高パフォーマンスのサービスを提供するために、HTTP キャッシングソフトウェアが動作する複数のプロキシサーバからなるネットワークを構成しており
Varnishを多段にする利点と注意するところ – cat /dev/random > /dev/null &
小ネタです Varnishを使う上で冗長化をどうしようと悩むことが多々有ります。 単純に横に並べてLBでバランシングしてもキャッシュの同期をどうしようという問題にぶち当たります。 VarnishSoftwareがサブスクリプションで提供しているVarnishPlusでは同一階層のVarnishにおいてキャッシュオブジェクトのレプリケーションを行うVarnish High Availabilityという機能が存在しますがコミュニティ版のVarnishでは存在しません。 （VarnishPlusについてはそのうち記事書こうと思います） 強引にVCLでSquidのsiblingのような動きをするように書くことも出来なくないのですが個人的にはオススメできません。 幾つか理由があるのですが一番大きい理由がRace conditionに陥るからです。 VarnishはこれはThundering Her
Kazuho@Cybozu Labs: キャッシュシステムの Thundering Herd 問題
« MySQL の高速化プチBK | メイン | ウェブサービスのためのMutex - KeyedMutex » 2007年09月26日 キャッシュシステムの Thundering Herd 問題 サーバにおける Thundering Herd 問題注1は良く知られていると思いますが、類似の現象はキャッシュシステムでも発生することがあります注2。 通常、キャッシュに格納されるデータは、それぞれ単一の生存時間をもっています。問題は、頻繁にアクセスされるキャッシュデータがエクスパイアした際に発生します。データがエクスパイヤした瞬間から、並行に走る複数のアプリケーションロジックがミスヒットを検知し、いずれかのプロセスがキャッシュデータを格納するまでの間、同一のリクエストが多数、バックエンドに飛んでしまうのです。 対策としては、以下の２種類の手段があります。 バックエンドへの同一リクエストを束ねる
CDN切り替え作業における、Web版メルカリの個人情報流出の原因につきまして - Mercari Engineering Blog
本日コーポレートサイトでお知らせした通り、Web版のメルカリにおいて一部のお客さまの個人情報が他者から閲覧できる状態になっていたことが判明しました。原因はすでに判明して修正が完了しております。また、個人情報を閲覧された可能性のあるお客さまには、メルカリ事務局より、メルカリ内の個別メッセージにてご連絡させていただきました。 お客さまの大切な個人情報をお預かりしているにも関わらず、このような事態に至り、深くお詫びを申し上げます。 本エントリでは技術的観点から詳細をお伝えさせていただきます。 2017年6月27日 CDNのキャッシュの動作について、CDNプロバイダと仕様について確認し検証を行いました。その結果一部記述に実際と異なる箇所があり、加筆修正いたしました。 概要 メルカリWeb版のコンテンツキャッシュをしているCDNのプロバイダ切り替えを行いました。 その際本来キャッシュされるべきでない
コンテンツキャッシュとVaryヘッダとnginx - Qiita
Varyヘッダは前段のキャッシュサーバに対して、指定したヘッダの内容ごとにキャッシュを分ける必要があることを伝えるためのものです。例えばサーバがVary: Accept-Encodingをレスポンスヘッダに付加しておくと、キャッシュサーバはAccept-Encodingヘッダの内容に応じたキャッシュを保持します。 こうすることでクライアントのAccept-Encodingヘッダの内容に応じたキャッシュデータをキャッシュサーバは返すことができるというわけです。 nginxにおけるgzip圧縮とVaryヘッダ さて、本題です。上記のような事情からかApacheのmod_deflateやh2oなんかはコンテンツのgzip圧縮を有効にすると、自動的にVary: Accept-Encodingをレスポンスヘッダに付加します。一方我らがnginxは設定ファイルにgzip_vary on;と書かないとV
ヤフーの画像配信システム（CDN）の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部プラットフォーム開発本部の新部（@osa2be）です。 CDNの運用を担当しています。 先日、知り合いの技術者と話していてヤフーのバックエンドがどうなっているのか興味があると聞かれましたので、社内にいくつかあるCDNのうち2つとIDCフロンティアのサービスをご紹介します。 はじめに ヤフーには多くのサービスが存在していますが、様々な理由により突発的にリクエストが増加することがあります。 そのようなリクエストに対応するためにサービスごとに大きな配信システムを持つことは、インフラの準備や運用工数など高いコストが必要になります。 そのため、共通のCDNを準備して各サービスのサーバ負荷を平滑化しています。 以前は、社外のC
キャッシュシステムのオリジンサーバアクセスの効率化と Apache Traffic Server
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部プラットフォーム開発本部配信プラットフォーム部の大久保諒です。 過去に何度か紹介している通り、ヤフーでは静的コンテンツのキャッシュを行うためにオープンソースの HTTP プロキシサーバである Apache Traffic Server (以下 ATS) を用いて行っています。 Yahoo! JAPAN における HTTP/2 への取り組み ヤフーの画像配信システム（CDN）の紹介 さて、 ATS のような HTTP キャッシュを行うサーバにおいて、短時間である一つのオブジェクトに対する大量の HTTP リクエストが来た際に使用できるキャッシュがない場合、オリジンサーバの負荷が増大する問題が存在します。
キャッシュ屋ブログ | REDBOX Labo
CDNベンダーは導入簡単！とマーケティングし営業さんも同じように手軽ですよ！と案内していることが多いです。これは間違いではありません。なぜなら導入自体はDNSレコードをかえるだけで完了するからです。しか ... 続きを読む
今日から始める「LINE砲」に負けないプロモサイト
「LINE砲」って？ プロモーションメッセージ 今年の2月、3月、5月の三回にわたり、LINE電話をご利用の皆様に、LINE株式会社様と共同でIIJmioのプロモーションメッセージを送信いたしました。お送りしたメッセージをタップすると、IIJmioのキャンペーンサイトにリンクするというものです。 こういった、LINEを活用したプロモーションメッセージを送信すると、「LINE砲」と呼ばれる現象が発生します。LINEのメッセージ配信はほとんど一斉に皆さんのスマホに着信し、さらにそれを読まれた方が素早く反応してWebサイトにアクセスされるため、メッセージの配信直後からリンク先のキャンペーンサイトにとんでもない勢いでアクセスが殺到するのです。これを大砲になぞらえたのが「LINE砲」です。(「LINE砲」は非公式に使われている俗称です) この「LINE砲」、実はWebサーバにとってはかなりの試練です
Caching range requests using NGINX at MaxCDN | Cassiano Aquino — Principal Engineer - DevOps @ Flutter Entertainment Plc
Protecting the weak against null pointer exceptions, motorcyles, skydiving and technology. On the end of 2013 I’ve met two amazing guys Justin Dorfman and David Archibald from MaxCDN, they were looking for a way to cache 206 Partial content. As some of you may be aware, partial content caching using squid/varnish/nginx does not work as expected, the cache needs to download the entire file before r
CDNの仕組みを勉強する | ぶろゲ
ネットワークに興味を持ち始めた当初からP2Pに対して興味があった。それに対して数年前、学術的発表でCDNに関する研究発表を聞き、CDNの存在を知って興味が出てきた。 今年はHDTV配信元年になるらしいのエントリの中でもCDNについて触れてみたが、今回、あらためて自分がCDNについて認知している点をまとめてみることによって、勉強としたい。 —- CDNとはwikipediaによれば「Webコンテンツをインターネット経由で配信するために最適化されたネットワークのことである。コンテンツ配信網とも呼ばれる」とされている。つまりP2Pも広義の意味でCDNである。このブログではAkamaiのEdgeSuiteに代表される地理情報を加味した配信技術の意味でCDNという用語を扱ってきた。 地理情報を加味した配信技術としてのCDNでは、遠距離に存在するコンテンツをキャッシュする逆プロキシ（proxy）のよう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
