ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
AccessibilityFS: An All-Access Pass to Your UI
Wednesday, January 23, 2008 at 3:14 PM By Dave MacLachlan, Google Mac Team A week or so ago I was looking at doing some user interface testing. At the same time, I was playing with MacFUSE, wondering about things I could do with it. All of a sudden I had an epiphany: I had to write AccessibilityFS, an accessibility file system! Not just because it's gratuitously cool, but because it turns out such
WindowsからLinux領域を読み書きできる ext2fsd
ext2fsdは，Linux用のハード・ディスク領域へのアクセスを可能にする，Windows用のデバイス・ドライバである。このドライバを組み込めば，WindowsアプリケーションからLinux領域内の各種ファイルを読み書きできる。 WindowsとLinuxのデュアル・ブート環境において，どちらのOSで起動した場合でも，もう一方のOS用のハード・ディスク領域に自由にアクセスできると便利だ。 Linuxからなら，WindowsのFATファイル・システムが読み書きできるので問題ない。最近ではNTFSファイル・システムに対しても読み書きが可能だ。一方，Windowsからは，LinuxのExt2ファイル・システムや，その拡張版であるExt3ファイル・システムに対して読み書きができず不便である。 ext2fsdは，Ext2/Ext3ファイル・システムでフォーマットされたLinux用のパーティション（
Lustreファイルシステムの概要
Lustreファイルシステムの概要 藤原 樹，廣安 知之，三木 光範 ISDL Report No.20040803002 2004年 6月 28日 Abstract 本報告ではLustreファイルシステムの概要について調べる．Lustreファイルシステムとは既存のNFSやAFSのような分散ファイルシステムでは対応できない大規模クラスタなどのシステムのために開発されているオープンソースの分散ファイルシステムである． 1 はじめに 近年，並列計算に用いられるクラスタが大規模化し，クラスタを構成するノード数が増加している．クラスタにおいて広く用いられている分散ファイルシステムのNFS，AFSを用いた場合，NFSサーバ1台に対してNFSクライアントが複数マウントするため，マウントするノード数の増加に伴いサーバに対する負荷が増大し，I/Oスループットが低下してしまう．また膨大な計算結果を出力する
Lustre
The Lustre® file system is an open-source, parallel file system that supports many requirements of leadership class HPC simulation environments. Whether you’re a member of our diverse development community or considering the Lustre file system as a parallel file system solution, these pages offer a wealth of resources and support to meet your needs. Events Lustre User Group (LUG) 2023 What’s Here?
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.gluster.org/glusterfs.php
原稿・資料 ― ありえるえりあ
