CentOS 6になったらTomcatのJVMが仮想メモリを大量に確保するようになった
CentOS 6になったらTomcatのJVMが仮想メモリを大量に確保するようになった 2013-11-19 CentOS 5+Tomcat 7+JDK 7+Apacheという組み合わせで動かしていたサーバ群に、OSだけCentOS 6にしてミドルウェアのバージョンは変えないサーバを何台か追加したところ、CentOS 6の方が、Tomcatが確保している仮想メモリ量が圧倒的にでかいことに気づいた。 ちなみに、どちらのサーバもヒープサイズは「-Xmn1024m -Xmx2048m -Xms2048m」となっており、本来なら2GBプラスアルファ(コードキャッシュ他の領域分)しかメモリは食わないはずだ。もちろん、ロードバランサではどちらのサーバにも同じ重みでアクセスを流していおり、負荷は同じのはず。 CentOS 5のサーバ こちらはざっくり3GB弱の仮想メモリを確保していると出ている(左から5
米新興企業Crossbar、フラッシュメモリの後継技術を発表
米カリフォルニアの新興企業Crossbarは米国時間8月5日、抵抗変化型メモリ、すなわちReRAM製品を発表した。同社の不揮発性メモリ技術により、いくつかの技術的進歩がもたらされることが期待されている。 単一チップ上に最大1テラバイトのストレージを実装 シンプルな3Dスタッキング構造で数テラバイトのストレージに対応 超低電力によるバッテリ持続時間の改善 対NANDフラッシュ比20倍の高速書き込み CMOS製造プロセスとの互換性により、低コスト製造が可能 現行フラッシュメモリの半分のダイサイズ 最も重要な点は、そのシンプルな電気的構造にある。同ReRAM製品は、上部電極、スイッチング媒体、下部電極の3層構造で、シリコンをベースとした材料が使われている。 極間に電圧を印加することで両極間にフィラメントが形成され、ここにデータが保持される仕組みになっている。フィラメントは10ナノメートル級の微細
減り続けるメモリ残量！ 果たしてその原因は!? 第1回 （1/3） − ＠IT
減り続けるメモリ残量！ 果たしてその原因は!?：Linuxトラブルシューティング探偵団 番外編（1）（1/3 ページ） NTTグループの各社で鳴らした俺たちLinuxトラブルシューティング探偵団は、各社で培ったOSS関連技術を手に、NTT OSSセンタに集められた。普段は基本的にNTTグループのみを相手に活動しているが、それだけで終わる俺たちじゃあない。 ソースコードさえあればどんなトラブルでも解決する命知らず、不可能を可能にし、多くのバグを粉砕する、俺たちLinuxトラブルシューティング探偵団！ 助けを借りたいときは、いつでもいってくれ！ OS：高田哲生 俺はリーダー、高田哲生。Linuxの達人。俺のようにソースコードレベルでOSを理解している人間でなければ、百戦錬磨のLinuxトラブルシューティング探偵団のリーダーは務まらん。 Web：福山義仁 俺は、福山義仁。Web技術の達人さ。Ap
naoyaのはてなダイアリー - Linuxのページキャッシュ
世間では PHP が、Perl が、と盛り上がっているようですが空気を読まずまたカーネルの話です。今回はページキャッシュについて。 /dev/shm に参照系ＤＢを持っていくと I/O 負荷が激減した件（当たり前だけど） - drk7jp で、ディスク上にあったファイルを /dev/shm (tmpfs) に移したら I/O 待ちがなくなって負荷がさがった、ということなんですがおそらくこれは tmpfs に置く必要はないかなと思います。Linux (に限らず他の OS もそうですが) にはディスクの内容を一度読んだらそれはカーネルがキャッシュして、二度目以降はメモリから読む機構 = ページキャッシュがあります。tmpfs にデータを載せることができた、ということは物理メモリの容量に収まるだけのデータサイズかと思うので、放っておけば該当のファイルの内容すべてがメモリ上にキャッシュされて io
DRAMの終焉――消えないメモリがもたらす大変化
さとう・いちろう／国立情報学研究所・情報社会相関研究系教授。1991年慶応義塾大学理工学部電気工学科卒業。1996年同大学大学院理工学研究科計算機科学専攻後期博士課程修了。博士（工学）。1996年お茶の水女子大学理学部情報学科助手、1998年同大助教授、2001年国立情報学研究所助教授を経て、2006年から現職。また、総合研究大学院大学・複合科学研究科情報学専攻教授を兼任。 専門はミドルウェアやOSなどのシステムソフトウェア。 佐藤一郎のパースペクティブ 分散システムの研究を核としつつ、ユビキタス、ID、クラウド、ビッグデータといった進行形のテーマに対しても、国内外で精力的に発言を行っている気鋭のコンピュータ・サイエンス研究者が、社会、経済、テクノロジーの気になる動向について、日々の思索を綴る。 バックナンバー一覧 ITの面白いところであり、怖いところは新しい技術により、これまで培われてき
第6回 Linux Kernelメモリ管理最新動向［その2］ | gihyo.jp
2012年6月6日～8日にLinuxCon Japan 2012 が開催されます。ここではLinux Kernelの最新技術の発表や議論がいろいろ行われるのですが、このカンファレンスを楽しむ手助けとなる記事を…ということで、最近のLinux Kernelのメモリ管理の以下のトピックについて、2回に分けて紹介しています。 第2回目の今回は、以下のテーマについて説明します。 ファイルシステム、デバイスと連携したエンハンス メモリ資源管理機能（cgroup） CleanCache ファイルシステム・デバイスと連携したエンハンス I/O less dirty throttling Linuxでは「ファイルシステムに書き戻す必要のあるデータを持ったページ」をdirty pageと呼びます。これらのページはファイルシステムにデータを書くまでは破棄できませんから、メモリ回収前にI/Oを行う必要があります
openSUSE 12.3: 第15章 メモリ管理サブシステムのチューニング
JavaScript is disabled on your browser. Please enable JavaScript to use correctly mesosadmin frontend Please login Login Password Forgot your personal password ? We can remind you
第1回 JVMはどのようにメモリ空間を利用するのか | gihyo.jp
あのWebサービスもJVMを利用している 「Javaは大規模なエンタープライズシステムにしか使われない」 それが常識だと思っていませんか？ たしかに、これまでJava Virtual Machine（JVM）は、他の言語を実行すると遅く、Javaのプログラムを実行する環境にすぎないものでした。ところが、Java 7から実装されたInvokeDynamicにより、JVM上で、RubyやPHPなどさまざまなコンピュータ言語で記述されたプログラムをより高速に実行できるようになりました。 これにより、今までエンタープライズでJava言語で記述されたプログラムを実行するだけの環境であったJVMが、汎用的な実行環境になったと言えます。また、これまでJavaの実行環境として使用されていたノウハウが、他の言語で記述されたプログラムを実行する際にも利用できます。 最近では、TwitterがJVMをアプリケー
Perl：forkしたプロセス間でのメモリ領域の共有 （Link: 遅レス。 - Apache + mod_perl - MaxClients の値に注意） | Typemiss.net
Perl：forkしたプロセス間でのメモリ領域の共有 （Link: 遅レス。 - Apache + mod_perl - MaxClients の値に注意） 遅レス。 - Apache + mod_perl - MaxClients の値に注意 共有されてるメモリ領域は/proc/$pid/smapsで取れます。Linux::Smapsを使うとプロセス全体での合計が見れたりして便利です。 Linux::Smapsの例を見るとLinuxのcopy on writeで共有されている様子が分かりやすいです。Apache + mod_perlやFastCGIで大量にforkするときには注意が必要ですね。 大雑把に言うと以下のようになります。 forkする前に確保したメモリ領域は共有される→shared_dirtyになる forkした後にその領域に書き込みを行うとコピーされる→private_dir
Linux のプロセスが Copy on Write で共有しているメモリのサイズを調べる
Linux は fork で子プロセスを作成した場合、親の仮想メモリ空間の内容を子へコピーする必要があります。しかしまともに全空間をコピーしていたのでは fork のコストが高くなってしまいますし、子が親と同じようなプロセスとして動作し続ける場合は、内容の重複したページが多数できてしまい、効率がよくありません。 そこで、Linux の仮想メモリは、メモリ空間を舐めてコピーするのではなく、はじめは親子でメモリ領域を共有しておいて、書き込みがあった時点で、その書き込みのあったページだけを親子で個別に持つという仕組みでこの問題を回避します。Copy-On-Write (CoW) と呼ばれる戦略です。共有メモリページは、親子それぞれの仮想メモリ空間を同一の物理メモリにマッピングすることで実現されます。より詳しくは コピーオンライト - Wikipedia などを参照してください。 この CoW に
Linux で共有メモリはなぜ cached に計上されるのか？ - ablog
Linux で物理メモリに割り当てられた共有メモリは cahced に計上される - ablog という備忘録を先日書いたが、 Linux の共有メモリにはPOSIX共有メモリとSystem V共有メモリがあり、どちらも tmpfs を使っている。 tmpfs はページキャッシュを使うから /proc/meminfo/cached に計上され、当然 vmstat や free でも cached に計上される。 ということのようだ。 Tmpfs is a file system which keeps all files in virtual memory. Everything in tmpfs is temporary in the sense that no files will be created on your hard drive. If you unmount a tmpf
sar -r でメモリ使用状況を確認する - ablog
# sar -r 00:00:00 kbmemfree kbmemused %memused kbmemshrd kbbuffers kbcached kbswpfree kbswpused %swpused 00:10:00 220216 3875156 94.62 0 289288 1707500 2024592 72536 3.46 00:20:00 215180 3880192 94.75 0 289312 1707672 2024592 72536 3.46 00:30:00 214552 3880820 94.76 0 289340 1707804 2024592 72536 3.46 kbmemfree: 物理メモリの空き容量 kbmemused: 使用中の物理メモリ量 %memused: 物理メモリ使用率 kbbuffers: カーネル内のバッファとして使用されている物理メ
ファイルがページキャッシュに乗っているかどうかを調べる - ablog
Linux上で任意のファイルがページキャッシュに乗っているかどうか調べるCで書かれたプログラムを見つけたので、コンパイルして実行してみた。 Linux上のとあるファイルがページキャッシュに乗っているかどうかを調べたいなーと思ってGoogle先生にご相談したところ、こんなコマンドを教えてくれた。 ファイルをメモリにマップして、mincore(2)でページごとにRAMに存在するかどうかをチェックしているらしい。 mmapしても即メモリにロードされるわけではないのかぁ。 Cの部分だけ抜き出して、単体で動かしてみた。 #include <errno.h> /* errno */ #include <fcntl.h> /* fcntl, open */ #include <stdio.h> /* perror, fprintf, stderr, printf */ #include <stdlib.
jemallocとかLD_PRELOADについて調べてみた - As a Futurist...
何周遅れか分かりませんが調べてみました。僕の理解は浅いので間違っている可能性大ですが自分用にメモしておきます。 malloc とは？ C 言語ではmallocという関数を使って、使いたいメモリを実行中に割り当てることができます。例えば Wikipedia によればこんな感じ(適当に main 足してます)。 #include <stdlib.h> int main() { /* 10個のintの配列のためのメモリを確保 */ int *ptr = malloc(sizeof (int) * 10); if (ptr == NULL) exit(EXIT_FAILURE); /* メモリを確保できなかったので、exit */ /* 確保成功 */ } malloc – Wikipedia これを素朴に gcc でコンパイルすると、glibc(libc.so.6)が動的にリンクされます(ここら
JavaVMのメモリ管理をマスターする
Webシステムの安定動作には、メモリ使用量の適切な見積もりが不可欠。だがJavaVMでメモリがどのように管理されるかを理解しているだろうか？ メモリに関する問題が発生すると、知識や技術資料の不足によって問題が長期化しがち。JavaVMでどのようにメモリが管理されているかを理解し、正確なメモリサイジングやメモリ関係のトラブルの早期解決へとつなげよう。 JavaVMのメモリ構造を理解しよう まず、JavaVMがどのようにメモリを使っているかを理解しておこう。JavaVMがプログラムを実行すると、Javaのプロセスによってメモリが使用される。Javaのプロセスでは、Javaヒープ、Permヒープ、Cヒープ、およびスレッドスタックという4つのメモリ領域を使用する。 Javaヒープはアプリケーションプログラムの各種オブジェクトを格納する領域であり、Classのnewで確保される。JavaヒープはNe
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
/proc/meminfoを考える - めもめも
通りすがりの貴方・・・・ /proc/meminfoのあっちの値とこっちの値を足したら、なんでそっちの値と同じにならないの・・・・ と悩んだことありますよね？ /proc/meminfoは、カーネルが内部的に管理している枠組みでのメモリ情報をそのまま出しているので、残念ながらユーザ視点で知りたいメモリ情報とは一致しません。 とはいえ、変な解釈をして無意味に悩まないために、それぞれの値の意味合いと項目間の関係を知っておくのは有意義です。私の理解の範囲で、それらの関係をまとめていきます。 ＃私の理解も完璧ではないので、間違いあればやさしくご指摘お願いします。 参考資料 http://mkosaki.blog46.fc2.com/blog-entry-1007.html 2011/09/07 追記： tmpfsがSwapCachedに含まれるのは幻想でした。tmpfs=Shmemに修正しました。
ページ・フォールトの種類 - とあるSIerの憂鬱
以前『ページ・フォールト(sar の fault/s)』が他のシステムより大きいとの指摘を受けたことがある。平均してみたところ10000回/秒を超えていた。 結果的にはハードウェア・ベンダーが導入した管理ツールのNIC監視エージェント(cmanicd)がページ・フォールトを多発させていた。NIC監視をそのエージェントにさせる必要がなかったので、停止して片付けた。 この時に調査して解ったのは次のこと。 ページ・フォルトにはディスクアクセスの有無によりマイナー・ページ・フォルトとメジャー・ページ・フォルトがある。 マイナー・ページ・フォルトはディスクアクセスを伴わない。システム負荷は小さい。 メジャー・ページ・フォルトはディスクアクセスを伴う。システム負荷が大きい。 sar の fault/s はマイナー・ページ・フォルトとメジャー・ページ・フォルトの合計数である。 sar の majflt/
[VPS] Virtuozzoのメモリはfreeやtopでなくてprivvmpagesを見るべし Kawa.netブログ（川崎有亮）/ウェブリブログ
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
![[VPS] Virtuozzoのメモリはfreeやtopでなくてprivvmpagesを見るべし Kawa.netブログ（川崎有亮）/ウェブリブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/e1647f9cd87c97d59579ea153a2e57f1ed72ca21/height=288;version=1;width=512/https%3A%2F%2Fuserdisk.webry.biglobe.ne.jp%2F001%2F614%2F44%2FN000%2F000%2F000%2F122902094411316427054.gif)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【後藤弘茂のWeekly海外ニュース】 DRAMとNANDフラッシュが終わり、新不揮発性メモリの時代が来る