ファイル名を管理するキャッシュdentry
前回「仮想ファイルシステムのありがたみを知ろう」では、仮想ファイルシステムがあるおかげで、“多種類のファイルシステムが共通インターフェイスを通して共存できる”ということを説明しました。 仮想ファイルシステムには、さまざまなデータ構造があります。今回はその中から、ファイル名を管理する「dentry」というデータ構造について解説していきます。 dentryとは？ dentryには、主に以下のような3つの役割があります。 ファイル名の管理 ディレクトリ階層構造の管理 キャッシュ管理 これらの役割を担うために、dentryのデータ構造には表1に示すメンバが用意されています。
2TBより大きいパーティション扱う(Linux)+HDDのアライメントについて - ktomoyaの日記
最近はHDDだと、2TBの製品もだいぶ安くなったので人によってはRAID5やRAID6と組み合わせて、4TBや6TBの容量のパーティションを作成する機会も増えてきたかと思います。 私のメインPCも2TB * 3なRAID5を導入したので、そのときに行った手順のログです。 // 気がついたらHDDのアライメントについての記事になってしまいました。。 やること kernelの GPTを有効にする partedの導入 partedでパーティションを作成する 備考 GPTを有効にする カーネルのGPTのコンフィグを有効にします。自前でカーネルのコンフィグを変更してたら行ってください。 下記を有効にします。 File System -> Partition type -> Advanced partition selection -> EFI GUID Partition supportまた、上記付
最新のLinux KernelでサポートされているFilesystem at nkjmkzk.net
Virtualization, Operating System, Storage, Cloud Computing2010/11/10現在、Linux Kernelの最新安定バージョンは2.6.36です。このKernelで組み込まれている比較的新しいFilesystemを簡単に整理してみました。 Ext4 Ext2/3との後方互換性を保ちつつ、より巨大なファイルシステム／ファイルのサポート・エクステント管理・マルチブロックアロケーション・遅延アロケーションといったモダンなファイルシステムの機能を実装する Kernel 2.6.19でマージされた Kernel 2.6.28で安定板としてリリースされた More Info: https://ext4.wiki.kernel.org/index.php/Main_Page More Info: http://nkjmkzk.net/?p=18
Mount options to improve ext4 file system performance « SmartLogic Solutions Blog
I recently boosted my rails test suite running time by around 30% by adding certain mount options for my ext4 partition (works for ext3 too). I thought I’d blog about it because the first time I tried my system wouldn’t boot! So here are the step by step instructions: 2) Run: > tune2fs -o journal_data_writeback /dev/sdXY Where /dev/sdXY is replaced by the partition that you want to boost 4) Edit
Tuning ext4 for performance with emphasis on SSD usage
The obligatory disclaimer: The more performance you gain, the more data integrity you loose! But if you want to tune something like a file system, I strongly assume that you know what you are doing :) These tips apply to all major Linux distributions like Fedora/Red Hat, OpenSUSE, and Ubuntu that are already using ext4 or are going to make ext4 their default file system. As write operations on Sol
squashfsを使ってみた — server-memo.net
squashfsを使ってみる squashfsとは、Zlibを使ったLinux用の高圧縮率と高速読込み専用を実現するファイルシステムで、 マウント出来る読み込み専用の圧縮ファイルシステムを作成することができます。 バックアップ等に使用すると、非常に力を発揮するのではないでしょうか？ 検証環境 CentOS 5.1 インストール いつもどおりお手軽簡単なyumでインストールします。 # yum -y install squashfs-tools Loading "installonlyn" plugin Setting up Install Process Setting up repositories extras 100% |=========================| 1.1 kB 00:00 updates 100% |===================
ジャーナリングファイルシステムが保護する「情報」
エクステント方式とブロックアルゴリズムには、主に次のような相違点がある。 データ管理領域の節約 エクステントでは、ファイルサイズが大きくなっても基本的に3つの値でブロックのアドレスを特定できる。これは、ブロックアルゴリズムがファイルサイズの増加に伴なってブロックの参照データが増大するのとは対照的である。このように、エクステントではデータの管理領域を大幅に減らせることが分かる。エクステントのアドレス構成はB+-Treeをベースとしており、3つの値を持つブロックはiノード内に置かれ、ファイルのオフセット値によってキー値が作成される。 メタ・データの領域節約 ファイルのメタ・データ（データ自体ではなく、データの管理情報）の書き込みはファイルが最初に作成されたときのみで、追加的なメタ・データは不要である。 例えば、エクステントでは図4にあるように最初のアロケーション（15）を行った後、それに続く読
ext4 - Wikipedia
ext4（fourth extended file system）は、Linuxのファイルシステムで、ジャーナリングファイルシステムの一つである。ext3の後継のファイルシステムで、拡張機能を使っていない場合に限りext3としてマウントできる。1EiBまでのストレージをサポートし、ファイルの断片化を防ぐextent file writingと呼ばれるシステムが導入される。ファイルのタイムスタンプは、ナノ秒単位で西暦1901年から2514年までの範囲をサポートする（ext3では秒単位で2038年まで）。Linuxカーネル 2.6.19より開発版が利用が可能になり、2.6.28[1]より安定版のファイルシステムとなった。 経緯[編集] ext3に対して後方互換性を保ちつつ、64ビットストレージの制限を除き、パフォーマンスを向上させるために開発が始められた[2]。しかしLinuxカーネルの開発者
Ext3、Ext4、Btrfsベンチマーク / Ubuntu | エンタープライズ | マイコミジャーナル
Phoronix Media is the largest Internet media company devoted to enriching the Linux hardware experience and catering its content to Linux gamers and computer enthusiasts. Phoronix - EXT3, EXT4, Btrfs Ubuntu Netbook BenchmarksにおいてUbuntu 9.10およびUbuntu 10.04開発版で実施したファイルシステムベンチマーク結果が紹介されている。試験されたファイルシステムはExt3、Ext4、Btrfs。BtrfsはZFSとよく似た機能を提供するファイルシステム。実験に使用された環境は次のとおり。 項目 内容 ファイルシステム Ext3、Ext4、Btrfs OS
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
みたのブログ: Ext3 ファイルシステムで削除したファイルを復元について
うっかりファイルを消してしまったりすることは、よくあると思います。 いろいろ事情があって、ext3 ファイルシステムで削除したファイルの復元について、半日ぐらい調べていました。 恥ずかしながら ext2 の場合も同じだろうと ext2 の場合の復元方法を一生懸命テストしたり、古い文書やメーリングリストの議論に惑わされたりしながら、やっと Linux ext3 FAQ のなかの ext3 の開発者のひとりの引用を読んで調査が終了しました。Q: How can I recover (undelete) deleted files from my ext3 partition?つまり ext2 の場合は、ファイルを削除するとき inode を "deleted" としるしをつけるだけなので、 debugfs コマンドの lsdel で削除された inode の一覧を得ることができるし、その削除さ
naoyaのはてなダイアリー - tmpfs は本当に容量が動的なのか
Linux には tmpfs という便利なファイルシステムがあります。 $ mount -t tmpfs -o size=64m tmpfs /dev/shm $ mount -t tmpfs -o size=64m /dev/shm /var/tmpとすると、/var/tmp がディスク上ではなくメモリ上に作られたファイルシステムとして mount されます。なので、/var/tmp は I/O 時にディスクI/Oが一切発生しない高速なディスクとして使えると。いわゆる RAM ディスク。(もちろんサーバーの電源を落とすと保存したファイルは消えます。) この tmpfs はなかなかに便利で、キャッシュとかそういうものでディスクにおいてたものここ置くと、ディスク I/O がカットできて超高速になります。はてなでは MySQL のスレーブの MyISAM のファイルを tmpfs において、オ
XFSチューニングテスト — takaki-web.media-as.org
そんなに複雑なことはやってないけど素でmkfs.xfsを動かせばよいというものではないらしいので。削除が遅いのがXFSのこまった点なのでどうなるか。 # mkdir z # cd z # time seq 500000 | xargs touch # cd .. # time rm -rf z を実行してみて時間をはかる。 単にmkfs.xfsを実行してみただけだと 3:12s/ 2:53 mkfs.xfs -l size=64m /dev/hdXXだと 3:03 / 2:30 mkfs.xfs -l size=128m /dev/hdXXだと 2:56 / 2:33mount -o logbufs=8 で上記のmkfs.xfsだと 2:48 / 2:09 なるほど〜。
Linuxにおける10億ファイル問題 | スラド
ファイルシステムが大容量に対応し、ハードディスクの容量あたりの価格が安くなるにともない、1つのパーティションに入るファイル数も増えている。しかし、Red HatのRic Wheeler氏によると、100万ファイルではしっかりと動くファイルシステムも、10億ファイルともなるとスケーラビリティの問題が発生してくるとのこと。 詳細はLinuxcon 2010での発表スライド（PDF）及びLWNの記事を参照。 大量のデータを扱いたければデータベースを使うか、複数のパーティションに分割して使え、という話があると思われるが、発表スライドでは「ファイルシステムは無料で多くの人々にとって親しみやすく分かりやすい、また複数のパーティションに分割するとユーザーによるデータの管理が面倒になり、またディスクシークの最適化が難しくなる」とし、大容量のファイルシステムの必要性が説かれている。 現在でもRAIDやJBO
livedoor Techブログ : 運用から生まれるスクリプト
こんにちは、ネットワーク事業部オペレーショングループの後藤です。 データホテルのサービスを担っているオペレーショングループでは、サーバセットアップ時にセットアップの効率化と正確性を図るため、予め先代たちが築きあげてきたセットアップ用のスクリプトを使用しセットアップ作業を行うことが多々あります。 セットアップとは、OSのインストールからミドルウェアの構築まで、顧客のご要望に沿った形でサーバを造りあげて引き渡すまでのことを意味し、各々顧客に合わせたセットアップ方法にて作業を行っております。その一連の流れの中から、OSインストール後のできたてホヤホヤのサーバに対して行っている、あることを取り上げてみたいと思います。 ◇日次バックアップ データホテルではレンタルサーバとして提供しているサーバに必ずディスクが2本以上装填されております。これはデータホテルのバックアップ方法の一つとして、日次で同一サー
Over 2TB RAID10ストレージ上でのext3、XFS、NFS v3、NFS v4の性能比較速化
電話 03-6410-6070、FAX 03-6410-6073 ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用) 導入事例 | 構成例 | ベンチ | 計算機 | ファイル/管理サーバ | 構築費用 | OS/開発環境 | アプリケーション | オプション | 購入 | 設定/納入 | サポート | 保守 | Q&A | 基礎情報 NFSサーバ構築の基礎テスト 【ext3とXFS】 Linuxのファイルシステムは、システムディスクに必須のext3が基本ですが、一部の大容量ストレージではXFSが用いられることがあります。XFSはファイルI/O速度、フォーマット速度、fsck速度などが速くジャーナルサイズも小さいため、大容量ストレージの構築ではメリットが多いとされています。確かにスク
Linuxファイルシステムベンチマーク第2回 ext3,ext4,JFS,Reiser,XFS,NILFS2
はじめに ext3ファイルシステムは、機能面・信頼性・性能面で非常にバランスの取れたファイルシステムであり、多数のディストリビューションで「標準のファイルシステム」として採用・サポートされてきました。現時点（2009年時点）では事実上、「Linux標準ファイルシステム」の地位を築いていると言っても過言ではありません。 しかしながら、「Linux標準ファイルシステム」のext3だけではなく、他ファイルシステムへの対応やサポートを売りにするディストリビューションも数多く登場しています。また、ext4やbtrfs等、次の「Linux標準ファイルシステム」と目されるファイルシステムも、現在、非常に活発に開発が進められています。 それでは、ext3から他のファイルシステムに乗り換える価値、他のファイルシステムを採用する価値はどの程度あるのでしょうか。 Linuxファイルシステムベンチマークの第2回は
安全なファイル書き換えにはディレクトリも fsync すべき。だけど Perl でどう書くか - kazuhoのメモ置き場
間違ってたらツッコミお願いします。 ext4 が出たタイミングで話題になったことだけど、(ext4 に関係なく一般論として) ファイルを安全に書き換えるためには、いくつかの手順を踏む必要がある。で、Perl だとだいたい以下のようになる。 # 1) 適当なテンポラリファイル名 (格納先と同ディレクトリ) my $newfn = "tmp.$$"; # 2) ファイルを書いて fsync open my $fh, '>', $newfn or die "failed to open file:$newfn:$!"; print $fh $data; IO::Handle::flush($fh); or die "flush failed:$!"; IO::Handle::sync($fh); or die "fsync failed:$!"; close $fh; # 3) 古いファイルを別
いますぐ実践! Linuxシステム管理
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
