Sequential File Prefetching In Linux
Earning a degree from the Department of Electrical and Computer Engineering at Wayne State University gives you the tools needed to create a faster smartphone, a thinner laptop or a more powerful automotive navigation system. Electrical and computer engineers design and build the gadgets people use every day, as well as the computer hardware within larger systems such as airplanes and robotic asse
VSS RSS PSS USS の説明 - Meblog
android - Is this explanation about VSS/RSS/PSS/USS accurately? - Stack Overflow StackOverFlowより Androidのメモリ消費量を調査したいとき、毎回困るのが、このvss,rss,pss,ussの概念だ。Linuxにおいては一般的な概念らしいんだけど、Linux開発なんて通らずにAndroid開発にいったものだから、この概念については全くの門外漢だった。 メモリ調査 メモリ調査に関して、軽く触れておく。 参考 まずは公式サイト Investigating Your RAM Usage | Android Developers 日本語だとatmarkITが詳しい Androidで動く携帯Javaアプリ作成入門（49）：Android 4.4のメモリ使用状況を把握する3つのツールの使い方 (1/2)
CoW 要点まとめ
CoW とは CoW = Copy-On-Write [ CoW - Wikipedia ] プロセスのコピーを作成 (fork) するとき、書き換えることのないメモリページは、両方のプロセス（元のプロセスと生成されたプロセス）で共用し、書き換える可能性のあるメモリページは、新たなメモリページを割り当ててコピーを作成する 鉄則 fork するプロセスを生成する場合、親子間でメモリ共有した方が良い forkする前に確保したメモリ領域は子プロセスとの間で共有される 共有されたメモリ領域に対して書き込みを行うと共有は解除（コピー）される forkした後に確保したメモリ領域は子プロセスごとに確保される（共有されない） どのプロセスでも同じように参照するだけの(書き換えない)データは、fork前に確保して共有した方が全体でのメモリ使用量を小さく保てる。つまり、fork 数を多くしたりできる。そして、
/proc/meminfo の Inactive は利用可能なメモリ領域ではない - ablog
ちょくちょく、/proc/meminfo の Active が使用中、Inactive は使用可能な領域ですよねと聞かれることがあり、違いますよと話すことがあるので、出典をメモっておく。 がちゃぴん先生のブログ Activeはページキャッシュや無名ページ（注3）のうち、最近利用したり、まだストレージとの同期が取れていない「捨てられない」ページです。Inactiveは、同じくページキャッシュや無名ページのうち、最後にアクセスされてからある程度時間がたち、ストレージとの同期も完了していて、すぐに捨てられるページです。よって、/proc/meminfoの出力でいうところの MemFreeとInactiveを足すことで確実に利用可能なメモリ量を算出することができます。 （実際に利用可能なメモリ量）≒（MemFree＋Inactive） この値を利用し、一定量を下回らないようにするのが、簡単・確実な
Linuxのmmap()を通して、アドレス空間の扱いを垣間見る - Qiita
近況 飲んで帰ってきて、気づいたらこんなの書いていました。 ちょっと具体性に乏しいので、もう少し後でパッチを書きます。 (でも、明日は会社の歓迎会で飲んでくるのだ) 前回のあらましと今回見るところ 前回、仮想アドレスと物理アドレスの紐付けをする処理とそのデータ構造のページテーブルを見ました。 そして、今回はユーザ空間へのアドレス空間マップを行うmmap()を見ることで、仮想アドレス空間の扱いの一端をかいま見てみましょう。 mmapの実装 mmapは以下の実装である。 (厳密に言うと、システムコールのベクタではないので「システムコールの開始地点」ではない) asmlinkage long sys32_mmap(struct mmap_arg_struct32 __user *arg) { struct mmap_arg_struct32 a; if (copy_from_user(&a, a
先読み処理 - Linuxの備忘録とか・・・(目次へ）
先読みとは、page単位の実際の読込みサイズを拡大して読込む事で、ブロックデバイス登録でblk_alloc_queue_node()がコールされる際、BIOリストが作成されるrequest_queueq->backing_dev_info.ra_pagesに先読みサイズ最大値が設定されます。先読みサイズ最大値ra_pagesは、実読込みサイズ+先読みサイズで、実サイズを読み込んで、先読みサイズ分を読み込むのでなく、読み込み際は、実サイズ/読み込みサイズ関係なく、両者を合わせたサイズ値で読み込みます。 最大サイズのデフォルトはVM_MAX_READAHEAD=128で、page数(VM_MAX_READAHEAD * 1024) / PAGE_CACHE_SIZE=32 pageとなります。ブロックデバイススペシャルファイルのioctl()のBLKRASETで設定できます。この先読みサイズ情
Linux Memory Mapped System Call Performance
Linux Memory Mapped System Call Performance Kousha Najafi Professor Eddie Kohler Steve VanDeBogart I. Introduction Mmap and read are both fundamentally important system calls. Both calls are used to access bytes on disk. Read uses the standard file descriptor access to files while mmap transparently maps files to locations in the process’s memory. Most operating systems also use mmap every time a
Huge pages part 1 (Introduction) [LWN.net]
Please consider subscribing to LWNSubscriptions are the lifeblood of LWN.net. If you appreciate this content and would like to see more of it, your subscription will help to ensure that LWN continues to thrive. Please visit this page to join up and keep LWN on the net. [Editor's note: this article is the first in a five-part series on the use of huge pages with Linux. We are most fortunate to have
Linux のオーバーコミットについて調べてみた
Linux のオーバーコミットについて調べてみた Linux のオーバーコミットのはなし（これを書いたのは Linux 2.6.38 のとき） Linux カーネルは実メモリ以上にメモリをプロセスに割り当てることができる この仕組みをオーバーコミット (over-commit) と呼ぶ オーバーコミットでは，とりあえずメモリを malloc させて仮のアドレスを返しておき， 実際に使われる段になってはじめて実メモリを確保する． 実験ただ malloc し続けるだけのプログラムを作って実験してみる． このプログラムをメモリ 1 GB + スワップ 1 GB のホストで実行してみると， $ free -t total used free shared buffers cached Mem: 1022404 82992 939412 0 4172 12280 -/+ buffers/cache:
[kernel] カーネル/VM Advent Calendar 2011 2日目 #kernelvm - Emacs ひきこもり生活
この記事はhttp://atnd.org/events/21910のために書かれたものです。 今回の記事では TranscendentMemory, frontswap, zcacheを紹介します。 TranscendentMemory とは 簡単に言えばLinuxカーネルの新しいメモリ管理システムです。TranscendentMemoryは サイズが不定で知ることができない 特殊なput/getの関数でページ単位で「ハンドラ」を使って読み書きする 設定によっては書いたものが消えてしまうこともある 抽象的なメモリになっています。こんなにいかにも使いにくいのに一体どんなメリットがあるんでしょうか? このようにメモリを抽象化することで、このシステムの裏側でいろいろと面白いことができるようになります。たとえば メモリデータを圧縮 (zcache) (2.6.39でstagingにマージ) 高速な
![[kernel] カーネル/VM Advent Calendar 2011 2日目 #kernelvm - Emacs ひきこもり生活](https://cdn-ak-scissors.b.st-hatena.com/image/square/fcc4b6b84ab8c4a051628e6f31cb68f99bd78175/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127147716210%2F17680117127147724321%2F1558270883)
zcache: a compressed page cache [LWN.net]
Did you know...?LWN.net is a subscriber-supported publication; we rely on subscribers to keep the entire operation going. Please help out by buying a subscription and keeping LWN on the net. Last year, Nitin Gupta was pushing the compcache patch, which implemented a sort of swap device which stored pages in main memory, compressing them on the way. Over time, compcache became "ramzswap" and found
サーバーのメモリが少しずつ圧迫される原因と対策を調べてみた - Qiita
サーバーのメモリが slab_cache で占有される サーバーのメモリが数日で slab_cache に占有されるので原因と対策を調査した。 メモリの使用状況の調査 meminfo meminfo を見ると Slab のメモリ使用量が確認できる。 SReclaimable と SUnreclaim を足すと Slab になる。 $ cat /proc/meminfo | grep "Slab\|claim" Slab: 1654520 kB SReclaimable: 1631304 kB SUnreclaim: 23216 kB slabtop slabtop コマンドをたたくと top コマンドのように Slab の内訳が表示される。 dentry が最も多いようだ。 --once は1回出力で終了するオプション。 --sort=c はキャッシュサイズ順にソートするオプション。 sl
アプリケーション内でhttpsによる外部APIを叩いているサーバのメモリ使用量が増加し続ける件について - s_tajima:TechBlog
問題 アプリケーション内でhttpsによる外部APIを叩いているサーバのメモリ使用量が増加し続ける件について調べた。 該当のサーバでは、以下のようにメモリの使用率が徐々に上昇していく。 また、アプリケーションのプロセス自体がメモリを消費しているわけではない状態。 原因 調査すると、このバグ仕様を踏んでいるのではないかと思われるページを見つけた。 https://bugzilla.redhat.com/show_bug.cgi?id=1044666 内容としては、curlを実行した際に /etc/pki/nssdb/以下の存在しないファイル(毎回違うパス)に対してaccessシステムコールが大量にコールされ、 negative dentry cacheが溜まっていき、メモリ使用量が圧迫されるというもの。 実際、この状況が起きているサーバを調べるとメモリ使用率のうち多くを占めているのはnega
glibcのmalloc(3)とLinuxカーネルのovercommitとOOM - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2015の23日目です。 glibcのmalloc(3)とLinuxカーネルのovercommitとOOMの関連でも見てみようと思います。Linuxカーネルのシステムコールにはmalloc(3)的なものはないので、mmap(2)、brk(2)が使われます。 今回知りたかったのは、どこでovercommitを許可しているのか？というところと、どのタイミングでOOMが発生するのかという2点です。 OOM発生時の挙動についてはsatoru_takeuchiさんの覚書(2015-12-03)に詳しく書かれていますので、こちらを参照してください。 glibcのmalloc(3)に関してはがちゃぴん先生のmalloc動画を見ましょう。 今回見ているglibcのバージョンは2.22でカーネルは4.3です。 まずはmalloc(3)の大まかな処理を見ま
Linux 4.0(x86_64)のメモリレイアウト - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2015の2日目の記事です。 今日は復習も兼ねてメモリレイアウトの確認です。 見るのはDocumentation/x86/x86_64/mm.txtです。見ているのは4.0ですが、4.3も同じでした。 で、メモリーマップですが下記のように説明されています。 6 0000000000000000 - 00007fffffffffff (=47 bits) user space, different per mm 7 hole caused by [48:63] sign extension 8 ffff800000000000 - ffff87ffffffffff (=43 bits) guard hole, reserved for hypervisor 9 ffff880000000000 - ffffc7ffffffffff (=6
"Reducing Memory Access Latency" が素晴らしすぎる - ablog
Reducing Memory Access Latency by Satoru Moriya (Hitachi LTC) が素晴らしすぎるのでメモ。 まとめ vm.swappiness = 0 により、解放可能なページキャッシュがあるうちはプロセスのメモリ(anon page)をスワップアウトしないようにできる*1。 swappines=0 にしても 解放可能なページキャッシュがあるのにプロセスのメモリがスワップアウトされる問題があったが、この資料を書いた守屋さんのパッチが Kernel 3.5 にマージされている → mm: avoid swapping out with swappiness==0 extra_free_kbytes で kswapd がページ回収を開始する閾値を上げ、direct reclaim が発生しにくくできる Kernel 3.2 以降、direct rec
【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ
はじめに linuxのメモリ利用容量(空き容量)の考え方 linuxのメモリ利用容量/空き容量の計算方法 ■RHEL7 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL6 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL5以前 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 蛇足 その1：無名ページとファイルページ その２：図解の内容のツッコミ その３：RHEL6の計算 その４：Inactiveを空き領域とすることは間違い。 はじめに linuxサーバを利用する上で何時も頭を悩ますものの一つが、メモリ利用状況の評価(メモリ利用率)ではないでしょうか。私も悩みます。そこで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://events.static.linuxfound.org/sites/events/files/eeus13_wheeler.pdf
https://www.kernel.org/doc/Documentation/vm/transhuge.txt
https://www.kernel.org/doc/Documentation/vm/overcommit-accounting