CPU使用率100％のWebサーバをOSのチューニングだけでCPU使用率20%まで改善する - 人間とウェブの未来
こんばんは、 @matsumotoryです。 hb.matsumoto-r.jp 上記エントリにおいて、プロセスの大量メモリ確保に伴うページテーブルサイズとベージテーブルエントリ数の肥大化によるcloneやexecveの性能劣化とCPU使用時間の専有問題、および、それらの解決方法についてシステムコールレベルで確認しました。 そこで今回は、システムコールやそのカーネル内部の処理の性能、というよりは、より実践的な環境であるApache httpdとmod_cgiを用いて、phpinfo()を実行するだけのCGIに対してベンチマークをかけた時にどれぐらいCPUのidleが空くか、システムCPUの使用量が変わるかを、前回示した解決方法の1つであるHugePagesを使うかどうかの観点で比較してみましょう。 特定条件下のWebサーバ環境のシステムCPUに起因する高負荷問題から、システムコールやカーネ
特定条件下のclone(2)を4倍速くする - 人間とウェブの未来
とあるサーバで妙にシステムCPUの使用率が高い現象が置きておりました。 そこで、まずはざっくりとperf topでプロファイルをとってみると、以下のようになっていました。 22.38% [kernel] [k] copy_pte_range 18.44% [kernel] [k] zap_pte_range 11.13% [kernel] [k] change_pte_range 3.58% [kernel] [k] page_fault 3.32% [kernel] [k] page_remove_rmap また、各プロセスのstraceを眺めていると、cloneで0.05秒とかなり時間がかかっているようです。これだと単純計算で1コアで秒間20回のcloneでコア100%占有してしまう程度の非常に低速な処理しかできないことになります。 sudo strace -T -o/dev/stdo
Apacheのチューニングメモ - Qiita
個人的Apacheチューニングのメモ。 間違いがあったら教えて下さい！ prefork 前提 Apacheでは、リクエストはApacheの子サーバプロセスが処理する。 子サーバプロセスは動的にforkで生成されたり、殺されたりする。 が、forkはとても重い処理なので、forkが発生しないように設定するのがよい。 チューニング方針 負荷が高かろうが低かろうが常に一定数のプロセスが動いている状態にする。 preforkの動作 MaxClientsは絶対値。 子プロセス数はこの値を超えない。 （以下正確ではないですが簡単に） Apacheは負荷が高くなってきたら 子プロセスを生成していく アイドル状態の子プロセスはMinSpareServers以上になるよう維持 MaxClients以上の子プロセスは生成しない MinSpareServersよりMaxClientsが強い 負荷が低くなってきた
Greasy Fork - safe and useful user scripts
What are user scripts? User scripts put you in control of your browsing experience. Once installed, they automatically make the sites you visit better by adding features, making them easier to use, or taking out the annoying bits. The user scripts on Greasy Fork were written by other users and posted to share with the world. They're free to install and easy to use. Step 1: install a user script ma
MySQL-python の Python 3 対応 - methaneのブログ
去年10月に Python 3 の MySQL ドライバ事情 という記事で次のように書いていました。 多分デファクトスタンダードな MySQLドライバなのですが、現状リリースされている 1.2.4 では Python 3 対応ができていません。 Fork の MySQL-for-Python3 が推奨されます。 最近 MySQL-python の方に Python 3 対応の準備的な Pull Request (古い構文を Python 2/3 両対応の構文に置き換える) がちらほらあり、やっぱり中途半端にメンテされてない Fork より本家に対応してもらわないとなぁということで、エイヤで Python 3 対応してしまって 少し大きめの Pull Request を投げました。 しかし、長年の実績がある本家といえども、個人プロジェクトで、１年に数回しかコミットされてない現状です。 一応、
RailsとherokuでURLスクリーンキャプチャーを取る方法 - Qiita
URLスクリーンキャプチャを行う方法は、 大きく３つあります。 １、スクリーンショット取得用WEBサービスの利用 簡単に導入できるけど、他社サービスに依存。 ２、JSで取得 ⬇みたいなのがありましたが、canvasタグを使うのでHTML5が前提。 よって、オールドブラウザは使えない ３、仮想フレームバッファ（Xvfb）＋ブラウザ経由 何でもできる。けど実装難度（工数）が高い。 ということで、何でもできるという点を評価し、 上記３で実装を行いました。 実装方法 実装難度が高いと言いましたが、 これはルート権限があれば、比較的簡単に実装が出来ます。 ところが、今回はherokuが前提となっているため。 少々手こずりました。（少々じゃないか。。） 結論から言うと、 IMGkitを使う IMGkitとは、wkhtmltoimage(Qt4を使用してhtmlレンダリングを行い、イメージ出力するソフト
Playdoh — playdoh 1.0 documentation
Playdoh¶ Mozilla’s Playdoh is a web application template based on Django. Django is a high-level Python Web framework that encourages rapid development and clean, pragmatic design. Playdoh is simply a pre-configured Django project that adds some essential modules and middleware to meet the following goals: Enhance the security of your application and its data Achieve optimal performance in the fac
プロセス・パイプ・リダイレクション・ファイルディスクリプタの実体を見に行く - ザリガニが見ていた...。
プロセス置き換えとか、名前付きパイプとか、とても便利な機能なのだけど、その仕組みはどうなっているのだろう？断片的な知識ばかりでは、その核心にはなかなか辿り着けない。サンプルコードの真似はできるけど、それ以上の発想はできない...。もっと根本的なところからちゃんと理解しておかないと、いつまでたってもコマンドの使い方の本質が理解できないと感じた。プロセスとは何か？パイプとは何か？リダイレクションとは何か？ファイルディスクリプタとは何か？可能な限りその本質を探ってみようと思う。 UNIXのプロセス UNIXでは、複数のユーザーがログインした状態で、同時に複数の処理を依頼される状況が多々ある。 ところが、どんなに高性能なCPUであっても、ある瞬間に処理できるのはたった1つの処理だけである。 そんな時OSは、それぞれの処理に必要なメモリ領域を割り当てて、CPUをタイミングよく切り替えながら同時並行的
distribute と setuptools がマージされた - methaneのブログ
setuptools の開発が停滞し、 fork の distribute が開発を継続していた状態で、初心者にとって最初の大きな罠になっていました。 この2つがマージされることになり、 setuptools 0.7 がリリースされました。 移行手順 How do I upgrade... にあります。 setuptools からの upgrade あまり居ないとおもいますが、 setuptools 0.6x を使っている場合は、 easy_install -U setuptools で upgrade できます。 distribute からの upgrade 移行用パッケージとして、 setuptools 0.7.x に依存する空の distribute 0.7 が提供されています。 ただしこの方法は実験的なものという扱いで、 distribute 0.7 は PyPI にはアップロード
githubでpull requestもらったのでmergeしてみる - 狐の王国
githubでforkして開発してみる - otsune's SnakeOil - subtech ということでotsuneさんからpull requestもらったのでmergeしたという作業メモ。git初めて使ってるのでわけわかめー。 Pull Requests ― Git Guides ― GitHub といってもここにある通り。 $ git remote add -f otsune git://github.com/otsune/foltia-the-next-generation.git $ git checkout -b otsune/master $ git pull otsune master:02d0a00 $ git branch 02d0a00 master * otsune/master ということでotsuneさんのブランチが手元に来たので、これを自分のmaster
githubでforkしたリポジトリから本家にpush - はこべにっき#
昨日いっていた問題が解決したので，あらためてgithubでforkしたリポジトリから本家にpushする方法． 本家にコミット権があるのが前提なので，ふつうは本家をcloneして作業すれば問題ないです．ただ，途中までforkで開発してたんだけど，ある日，コミット権をもらったりして本家に反映したいような時には便利です． 以下folkしたリポジトリのcloneのmaster branchにて， # remote リポジトリを設定する $ git remote add jugyo git@github.com:jugyo/termtter.git $ git fetch jugyo # git pullして本家の変更を取り込む $ git pull --rebase jugyo # 変更をgit pushする $ git push jugyo いろいろまわり道したけど，すごいやったことある，コレ．
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenUserJS.org
7me - Diary - PHPでWebの画面キャプチャとか(xvfbとwkhtmltoimage)
wkhtmltopdf - Google Code