Web コンテンツのログを取る - どさにっき
2014年2月3日(月) ■ Web コンテンツのログを取る _ とある Web アプリのログを取りたい。通常のアクセスログではなく、POST で送ったデータと、その応答。具体的には XML や JSON のような構造を持ったデータの一部を記録しておきたい。どうやればいいんだべ。ちなみに、その Web アプリは他人様が動かしてるものなのでこちらではいじれない。クライアント側でログを取ることを想定。 _ こういうことやる場合は、apache なプロクシを経由させるようにして、その apache 上で mod_dumpioを使うというのがまず思いつくんだけど、これ使いものにならんよな。特定の URL へのアクセスだけ、さらにそのコンテンツに含まれる必要な情報だけをロギングするということができないので、ほんとうに欲しい情報が大量のゴミに埋もれてしまう。一時的なデバッグにはいいかもしれないけど、常
mod_cluster登場、mod_jkやmod_proxyよりも優れたロードバランシング | エンタープライズ | マイコミジャーナル
jboss.org: community driven JBoss Web ProjectおよびJBoss AS Clustering Projectから興味深いプロジェクトが発表された。その名もmod_clusterだ。現在のところ1.0.0.Beta1が公開されている。名前のとおりApache HTTP Serverで動作するモジュールで、背後で動作するTomcatやJBoss Web、JBoss ASなどのアプリケーションサーバへのコネクションを担当する。ロードバランシングの機能とプロクシの機能を備え、mod_jkとmod_proxyの双方の機能をもったような仕組みになっている。 mod_jkやmod_proxyとの大きな違いは、アプリケーションサーバからHTTPサーバへのバック通信をサポートしているところにある。HTTPメソッドでアプリケーションサーバからmod_clusterモジ
Apacheのmod_proxy_balancerを使うときはretryを設定すべき - 射撃しつつ前転
今作っているサービスは、Apacheのmod_proxy_balancerを使ってロードバランシングしている。しかし、バックエンドのサービスサーバを一旦落としてから復帰させると、コネクションがしばらくつながらないという問題に悩んでいた。1分ぐらい放置するとつながるようになるんだけど、1分は結構長い。 よくわからないのでソースを読んでみたところ、mod_proxy_balancer.cを眺めた感じ、ap_proxy_retry_workerという関数がコネクションの再確立をしているのではないかと思えた。しかし、関数の定義を眺めてみると、現在時刻がエラー発生時刻とworker->retryを足した数字よりも大きければworkerのstatusからPROXY_WORKER_IN_ERRORのビットを下ろしているだけで、コネクションの確立がどうのこうのなんて関数はまったく呼ばれてない。ここでなにが
ウェブ・アプリケーションの革命がここにある - Apache Wicketユーザーグループを始めます - 矢野勉のはてな日記
Java, Wicket このブログをいままで読んでいる方なら、私がApache Wicketの大ファンだということはご存知でしょう。ついに1.3としてApacheプロジェクト入りしてから最初のリリースを果たしたWicketフレームワークは、日本ではまだそれほど普及していませんが、今年は米国で「Wicket in Action」が出版される予定があるなど、かなり注目されているフレームワークです。 私はそんな控えめな表現では表せない魅力をWicketに感じています。Wicketは、Javaのいままでのフレームワーク開発の積み重ねがもたらした「ウェブ・アプリケーションの革命」です。Echo2のようにHTMLを廃してJavaだけでプログラムを組むのでなく、JSFのように新しいテンプレートを作るのでもない。HTMLとJavaを結合して、HTMLをJavaで、Javaらしいコードで制御するという方向
どさにっき
2007年7月22日(日) ■ 無題 _ あたまいたい。 _ 休んでるヒマなんかないほど仕事は詰まってるんだが明日までになおるだろうか。 2007年7月23日(月) ■ 無題 _ 3ゾロ。 ■ バージョンを隠してもねぇ _ 出遅れたが たった2行でできるWebサーバ防御の「心理戦」という記事。親切にも はてブから 前にも書いたことにリンクしてくれた人がいたようだけど、そういうわけなのでそっちも参照してくだされ。というか、以下は去年書いたことに対する長い長い蛇足。 _ なぜ多くのサーバソフトウェアはデフォルトで外からバージョン番号が見えるようになっているんだろうか。バージョン番号が見えることにセキュリティ的な問題があるいうのが広く認識された事実なのであれば、デフォルトでバージョンを外にさらすよういなことはしないはずだ。いちおう RFC2616 にはその可能性は言及されていて「設定で変更できる
mod_xsendfile を使う - 酒日記 はてな支店
mod_xsendfile for Apache2/Apache2.2 という Apache モジュールがありまして、これを使うとレスポンスヘッダに X-Sendfile: path/to/file と出力することで、Apache がレスポンスのボディをファイルの中身で差し替えてくれる。 Webアプリケーションで認証後、大きなファイルをダウンロードさせるような用途に便利。 このモジュールはその名の通り sendfile システムコールを(使えれば)使うので、アプリケーションが自前でファイルの中身を読んで送信するよりも速い(軽い)はず。http://www.linux.or.jp/JM/html/LDP_man-pages/man2/sendfile.2.html ってことでベンチマーク取ってみた。 1. 普通に静的ファイルを Apache が serve 2. mod_xsendfile
mod_perl用Apacheを分離 - Magical Diary, beta version
Perlを高速に動かすためにはApache HTTPDにmod_perlを組み込むが、mod_perlを読み込んだApacheはメモリを大量に消費する。このため、本格的なサービスを行う場合にはバックエンドでmod_perl用の専用サーバを動作させるが、そこまで用意しなくてもmod_perlだけは分離したいという要求は多い。ここでは、1つのサーバ内でApacheを複数動作させ、mod_perlを分離する方法を以下に解説する。 設計 通常 (mod_perlなし) のApache (a) は *:80 で待ち受け。 Apache + mod_perl のApache (b) は 127.0.0.1:8000 で待ち受け。 共通する設定は別ファイルに書いておいて、それぞれの設定ファイルから Include する。 アクセスは一度 (a) で受け取って、特定のパスに対しては (b) に逆プロ
503 の出し方
2007年7月3日(火) ■ PDF spam _ 先週ごろから画像を JPEG やなんかの画像フォーマットではなく、PDF につっこんでくる spam が届いてる。OCR なテクニックで画像から文字列を抽出するフィルタでも、そもそも画像ファイルじゃなければ効果なし、という発想かな。最近のかっちょええ spam フィルタは使ってないので spammer の目論見があたってるのどうかはわからんけど。 _ PDF って Postscript に毛の生えたようなもので、つまり一種のスクリプト言語なわけなのですよ。画像が1枚張りつけてあるだけの単純な PDF であってもいきなり画像本体のデータからはじまるわけではなく、書式設定とか初期化とか必要なのね、たぶん（よく知らんのでてきとーに書いてる）。この PDF spam は画像の中身は例のごとく毎回異なってるんだけど、ありがたいことに画像データにたど
サーバにDoS耐性を付ける - stanaka's blog
ウェブサービスでは、アクセスが集中して、サイトが落ちる、というのは、よくある話です。純粋に人気が出てアクセス集中するなら、サーバ管理側の責任と言われても、しかたないと思います。しかし、botやF5アタックによる突発的な集中アクセスで、落ちてしまう、というのは、運営側としても、あまり納得がいくものではありません。 そのような突発的なアクセスに対応するために、大量のアクセスをしてくるクライアントを検出し、優先度を落すか、アクセス禁止にする方法などがあります。 というわけで、Apacheモジュールでそれを検出するためのmod_dosdetectorを開発しました。(ちなみにコア部分の開発期間は、Apacheモジュールって、どう書くんだっけ、という状態から、3日でした。) mod_dosdetectorは、Apacheモジュールとして動作し、クライアントのIPアドレスごとにアクセス頻度を測定し、設
どさにっき レンサバ屋と qmail とライセンス
2006年12月22日(金) ■ HTTP トランザクションを減らすには _ HTTP のリクエストとレスポンスを効率よくやりとりするためには、HTTP/1.1 の persistent connection を使ったり、persistent connection の上でさらに pipelining したりとかいう方法がある。 この前の /.j の議論では区別がついてない人がいたみたいだけど、ちゃんと区別してね。 _ でも、これ以外にもまだ方法はあるはずだよね。リクエストとレスポンスを複数繰り返すから接続数の問題が出てくるのであって、リクエストとレスポンスを1回やりとりするだけで複数のリソースを受け渡せるようにすればいい。 _ ……ってことで、3年近く前に実験したことがあるんだわ。クライアントは IE、Mozilla、Opera で試したんだけど、メモを見ても当時どのバージョンを使ったのか
GIGAZINE - GIGAZINEのLoadAvarageを「27」から「2」へ下げた方法
ここ3日間ぐらい超絶な重さだったのはサーバに物理的トラブルが発生したからではなく、単純に閲覧者数が満員御礼となり、各時間で倍増したためです。LoadAverageはひどいときで15分間の平均値「27.1」程度。瞬間最大風速だともっと高いです……明らかにまずい。 というわけで、Apacheのデフォルト設定で今までは大丈夫だったのですが、ついに高負荷サイト用の設定に変更せざるを得なくなりました。 そのため、実際に行った対処方法は以下の通り。1日30万PV近い動的サイトの高負荷を緩和させる方法として参考になれば幸いです。 まず大前提として、既にDNS逆引きや.htaccessの余計な読み込みなどは停止させていました。下記ページに書いてあることは実行済み。 ＠IT：Apacheパフォーマンス・チューニングの実践（1/2） この状態で負荷が15分平均で「27」になっていたわけです。 また、LoadA
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
