ファイルシステムの痕跡（メタデータ）をクリアする方法あれこれ（wipefsほか）
Linux で、いろいろとファイルシステムを試す際に、mkfs しようとすると、次のように残存データがあるぞと警告される場合があります。 [root@hoge ~]# cat /etc/centos-release CentOS Linux release 7.1.1503 (Core) [root@hoge ~]# uname -a Linux hoge 3.10.0-229.el7.x86_64 #1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux [root@hoge ~]# mkfs.btrfs /dev/sda10 /dev/sda10 appears to contain an existing filesystem (ext4). Error: Use the -f option to force
Stray Penguin - Linux Memo (NFSv4)
「良い意味でも悪い意味でも古いNFS」 を、インターネット経由でも使用できるようにと改良したのが、 NFSv4 すなわち NFS Version 4 だ。本当に安心してインターネット経由で使えるかどうかにあまり興味はないが、NFS の Version 2 や 3 に比べると、mountd, lockd, statd 及び quotad の機能を NFS デーモン内部に取り込んだこと、(基本的には) portmapper が必要なく、サーバは 2049 番ポートだけ解放すればよくなったこと。NFS over TCP が標準になったこと、デフォルトの読み取りブロックサイズが格段に大きくなったこと、ファイルのオープン/クローズやキャッシュなど多くのオペレーションをクライアントに任せるようになったことなどが特徴だ。従来の NFS と NFSv4 との違いは NFSv4 TESTING for Li
Bonnie++を使ったファイルシステム性能のベンチマーク | OSDN Magazine
Bonnie++はファイルシステムに関する様々なタスクをベンチマークすることができるツールで、RAIDの構成やファイルシステムの構成やネットワークファイルシステムの設定などを変更する際に大いに役立つ。 Bonnie++はopenSUSE 10.3（1-クリック・インストール）、Ubuntu Hardy、標準のFedora 9リポジトリなどから入手可能だ。今回は64ビット用Fedora 9リポジトリからインストールした。 Bonnie++はUbuntu用とFedora用のパッケージでは/usr/sbinにインストールされるのに対してopenSUSEでは/usr/binにインストールされる。ルートユーザとして起動するとエラーが出て実行できないのだが、/usr/binではなく/usr/sbinにインストールしてある場合、通常のユーザとして実行するためにはフルパスを指定する必要がおそらくあるだろう
fioを用いたディスクIOのパフォーマンス測定 | OSDN Magazine
コンピュータを構成する主要コンポーネントの中でも、ストレージ系のパフォーマンスは他に比べてかなり劣るものとなっており、例えばハードディスクは容量的には順調に拡大し続けているものの、そのアクセス速度の発展ペースはRAMやCPUの速度向上に追いつけなくなっている。こうしたハードドライブの性能的限界がシステムパフォーマンスのボトルネックとなっている可能性を考えた場合、各自の所有するディスクやファイルシステムが発揮可能な速度および、ディスクのサブシステムに対してユーザが行える設定変更の影響を数値的に把握しておくことは重要な意味を帯びているはずである。またディスクのアクセス速度を向上させる手法の1つとしては、RAID-5のように複数のディスクを組み合わせて運用することが考えられる。 Linuxの場合、物理ディスクに対するアクセス速度の基本的な情報であれば、hdparmツールに-Tおよび-tオプション
Linuxシステム構築Tips - ファイルシステム比較（ディスク容量使用効率編）
ファイルシステム比較 （ディスク容量使用効率編） システムの設計時にハードウェア構成のサイジングを行う際には、ファイルシステムの実効ディスク容量（＝ 物理ディスクの容量のうち実際に使用できる容量） を意識して、サーバの内蔵ディスクやディスクストレージのHDD構成を決定する必要があります。ファイルシステムには、ユーザが使用する実データを格納する領域以外に、メタデータやジャーナルログ等を格納する領域が必要になるためです。 このページでは、openSUSE 10.3 で選択可能な主要ファイルシステム（vfat等は除く）を対象に、 特別なオプション無しで mkfs を実行した直後の df 結果 1KB・10KB・100KB・1000KB のサイズでそれぞれ10000個のファイルを作成した後の df 結果 1MB （1024KB） ファイルの最大作成個数 を一覧にまとめていますので、参考にして
Linuxファイルシステムベンチマーク第2回 ext3,ext4,JFS,Reiser,XFS,NILFS2
はじめに ext3ファイルシステムは、機能面・信頼性・性能面で非常にバランスの取れたファイルシステムであり、多数のディストリビューションで「標準のファイルシステム」として採用・サポートされてきました。現時点（2009年時点）では事実上、「Linux標準ファイルシステム」の地位を築いていると言っても過言ではありません。 しかしながら、「Linux標準ファイルシステム」のext3だけではなく、他ファイルシステムへの対応やサポートを売りにするディストリビューションも数多く登場しています。また、ext4やbtrfs等、次の「Linux標準ファイルシステム」と目されるファイルシステムも、現在、非常に活発に開発が進められています。 それでは、ext3から他のファイルシステムに乗り換える価値、他のファイルシステムを採用する価値はどの程度あるのでしょうか。 Linuxファイルシステムベンチマークの第2回は
Linuxファイルシステムの基礎と応用 | OSDN Magazine
ファイルシステムにおいてLinuxと他のOSが異なる点――それは、他のOSは標準でサポートするファイルシステムが2～3種程度であるのに対し、Linuxは非常に多彩な選択肢（ext2/ext3、ReiserFS、JFS、XFSなど）を提供していることだ。現在のところext3が使われることが多いものの、その理由は歴史的な経緯によるものであり、このファイルシステムがReiserFSやJFS、XFSに対して機能、性能的に優れているというわけではない。 以下で紹介する4つの記事は、2003年に発行された『Linux Power Tools』からの抜粋であり、ここではext3、ReiserFS、JFS、XFSの4つのファイルシステムのその特徴から設定・運用方法までが解説されている。4年前の記事ではあるが、その内容は2007年の現在でも通用するものばかりだ（ext4やReiser4といった新世代のファイ
Open Tech Press Linuxのファイルシステムとファイルの概要
Linux上で行う作業にはすべて何らかの形でファイルが関係している。たとえば、プログラムをファイルから起動し、プログラム設定をファイルから読み込み、データをファイルに保存し、サーバを経由してファイルをクライアントに配信する、という具合だ。 したがって、Linuxのファイル操作関連のツールは、システム全体のパフォーマンスにとって非常に重要な意味を持つ。基本的には、こうしたファイル操作ツールがファイルシステム――つまりLinuxがファイルを探して操作するために使うデータ構造の集まり――を形成している。Linuxにはいくつかネイティブなファイルシステムが存在しており、最も重要なのは、ext2fs（Second Extended File System）、ext3fs（Third Extended File System）、ReiserFS（Reiser File System）、JFS（Jour
On File Systems
(http://www.kev009.com/wp/2008/11/on-file-systems/) 訳した。分からなかったところは英語のまま。ファイルシステムについて完全な素人なので変な所があるかも。 Introduction(前置き)ファイルシステムはOSの重要な要素だが最近ではあまり関心を払われていない。ビットが入ってきてビットがでていく……デスクトップシステムにとっては、たいてい十分に働いてくれる……ただし、電源が落ちるまでは。しかし、そんな状況ですら近頃ではあまり困ったことにはならない。 Linuxのファイルシステムの分野には競合製品が多い。ext2が長い間標準とされてきたが、2001年辺りから他の選択肢も主流となった。あまり歴史に深入りせずに要約すると(順番は適当)、ext2が進化してext3となり、ジャーナリング機能が付いた。ReiserFSがリリースされた。SGIはXFS
Linuxは1ディレクトリに大体ファイル数を 1万ファイル位（まあ大体5000ファイルでやめたほうが無難かな？…
Linuxは1ディレクトリに大体ファイル数を 1万ファイル位（まあ大体5000ファイルでやめたほうが無難かな？） 溜め込めると聞いたのですが 1ディレクトリ内のディレクトリ数の制限はあるのでしょうか？ 今、1ディレクトリ内に大体800ディレクトリ作成しようと 思っているのですが、大丈夫でしょうか？
C言語: UNIX最速ファイルコピー
Created: Kazuki Ohta, 2006/06/14 Last Update: Kazuki Ohta, 2006/06/14 「write(2)の正しい使い方」と同じく、OS演習でやった事の延長線の記事を書いてみる。お題は「UNIX上で大規模ファイルを最速でコピーする方法」だ。一般的に、UNIXでファイルをcopyする際には以下のような方法が有る。 read -> write read -> write with posix_fadvice mmap -> mmap -> memcpy -> fsync mmap -> mmap -> memcpy -> fsync with madvise mmap -> write mmap -> write with madvise read, write, mmap辺りは良いとして、posix_fadviseというシステムコールが有
最速cp on UNIX Systems - moratorium
ふとしたきっかけで、UNIX上における「最速cp」をやってみようと思い、いくつかの方法を実装してみた。 read -> write read -> write with posix_fadvice mmap -> mmap -> memcpy -> fsync mmap -> mmap -> memcpy -> fsync with madvise mmap -> mmap -> memcpy -> munmap mmap -> mmap -> memcpy -> munmap with madvise mmap -> write mmap -> write with madvise ソース ソース 環境 Linux ubuntu 2.6.12-10-686 #1 Sat Mar 11 16:22:51 UTC 2006 i686 GNU/Linux glibc 2.3.5-1ubuntu
仙石浩明の日記: NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する
ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サーバの性能。 多数のディスクレスサーバを賄え、かつ高信頼な NAS サーバとなると、 どうしても高価なものになりがちであり、 NAS サーバ本体の価格もさることながら、 ディスクが壊れたときの交換体制などの保守運用費用も高くつく。 それでも、多数のハードディスク内蔵サーバ (つまり一般的なサーバ) を 運用して各サーバのディスクを日々交換し続ける (運用台数が多くなると、 毎週のようにどこかのディスクが壊れると言っても過言ではない) よりは、 ディスクを一ヶ所の NAS にまとめたほうがまだ安い、 というわけで NAS/SAN へのシフトは今後も進むだろう。 そもそも CPU やメモリなどとハードディスクとでは、 故障率のケタが違うのだから
WindowsでLinuxパーティションを読み書きするには（Ext2Fsd編） － ＠IT
WindowsでLinuxパーティションを読み書きするにはで紹介したExplore2fsを使えば、WindowsからLinuxのパーティション（ext2やext3）にアクセスできる。しかし、Explore2fs以外のWindowsアプリケーションからは、Linuxパーティション上にあるファイルを読み書きできない。 今回紹介するExt2Fsd（http://www.ext2fsd.com/）は、Linuxのパーティション（ext2やext3）へのアクセスを実現するWindows NT／2000／XP用のドライバである。Ext2Fsdをインストールすると、Linuxのパーティションに対してドライブ文字を割り当て、Windowsから自由にアクセス可能となる。 Ext2Fsdは、インストーラと一体になったEXEファイルとZIPで圧縮されたバイナリ一式（インストールはバッチファイルで行う）の2つの形
ほえほえ LinuxファイルI/Oチューニング
Linuxは私の使っている範囲ではファイルI/Oがパフォーマンスボトルネックになっていることが多い。で、チューニングの情報を集めてみるのだが、なかなか役立つ情報を入手できない。 決まって全般的なチューニングの進め方について述べ、次にボトルネックの調べ方について述べる。 最後にチューニングパラメータ設定手順のヒントだけを非常に簡単に挙げておわってしまう。いや、どこがボトルネックなのか最初に一発で分かればいいよ？ でも全般的なチューニングの進め方でそうしたドキュメントが述べている通り、色々な可能性を繰り返しチューニングしながらつぶしていかなきゃいけないんだよね。 そのためには具体的なチューニングパラメータの設定手順がなきゃできないんだよね。それを教えろよ！それを！ ということで、今回はLinuxファイルI/Oチューニングについて調べた。大きなファイルの書き込み(ex. cpコマンド)を行うと、
E2fsprogs: Ext2 Filesystem Utilities
This is the home page for the e2fsprogs package. It provides the filesystem utilities for use with the ext2 filesystem. It also supports the ext3 and ext4 filesystems. The e2fsprogs Sourceforge summary page can be found here. For more information about the ext2 filesystem, click here. The latest development sources for e2fsprogs is maintained in a Git repository at git://git.kernel.org/pub/scm/fs/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ext3からext4への更新概要
http://japan.internet.com/linuxtutorial/20021008/1.html
Firewire接続HDDでOracle 11g RAC
IBM Developer
