【Linux】100万ファイルくらいあるディレクトリのファイルのリストを高速に表示したい - 地方エンジニアの学習日記

概要 ファイル名のリストだけ高速に欲しいみたいな場合に大量にファイルがあるディレクトリでlsを打って返ってこないみたいなのが地味にストレスになったりするので高速に済ませる手段が無いかを調べてみた。 1ディレクトリに100万ファイル程度 計測前にecho 3 > /proc/sys/vm/drop_cachesを都度実行し10回程度計測 計測 ls -l めっちゃ遅い real 0m24.052s user 0m5.668s sys 0m8.071s straceをしてみるとこんな感じ。-lをつけるとメタデータを取りに行くのでこれが遅いらしい。sysが長い % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 44.6

[yarumato]

“ls -l　遅い 24秒。 -l を外す 17秒。 -fを付けるとソート処理をしなくなる　1.2秒”

[sfujiwara]

lsが遅い時はfindを試すのが定番(個人的に

[circled]

何をしたいかにもよるがファイル名一覧が見たいなら locate 見たいディレクトリ手前のpath名 という代替策もある → 例：locate /home/username/hoge (/home/username/hoge 配下のファイルがどんだけあろうが高速表示)

[seiunsky]

きちんと調べていてめちゃ良い

[takc923]

strace -c でsyscallの統計取れるの知らんかった...

[hase0510]

結局欲しいのはフィルタリングした一部だよね。ならファイル名だけを適切なデータ構造に入れて高速検索できるようにしたほうがいい。そうしてくれるツールもあるけど、標準搭載していて欲しいなー／それがlocateか！

[hirata_yasuyuki]

locateはデータベースが最新じゃない可能性あるのでは。

[bullet7]

標準出力は遅いのでリダイレクトさせるのはやる

[xlc]

Unixはディレクトリにシーケンシャルにしかアクセスできないので、大量にファイルを置いて速度を出すのがそもそも無理。それにキャッシュが使われるから測定方法も悪いと思うぞ。

[osamu0329]

10^9がざっくり１秒で、log_2(10^9)が29.8(2^10=1024だから概算30)だから、ソートだけで数十秒オーダーかかってTLEするなと考える人は多そう

[knok]

それでも昔に比べれば早くなった

[nmcli]

さくっと書けちゃうのつよつよでいいな

[ot2sy39]

Windowsでやったら即死しそう。

[UDONCHAN]

おもしろい

[dorapon2000]

“lsのソートをなくす デフォルトでソートしている。-fを付けることでソート処理をしなくなるのでやってみるとこれで大分速くなった。”

[t_mori]

ls -f

[leiqunni]

まあそうでしょうね。何で速く欲しいのにファイル名以外やソートや出力させてたのか。

[udzura]

straceの手習いに良さそう

[ryouchi]

findとどっちが速いんやろと思った https://qiita.com/kitakitash/items/0a2350bf7e9b52da92fc

[daimaruonline]

“gotoutine”

[programmablekinoko]

面白かった。こういう基本的なコマンドは後方互換性移植性を重視して最適化されない印象。

[Windymelt]

良い記事

[sucelie]

lsってなんでチューニングされないんだろ

[nippondanji]

http://be-n.com/spw/you-can-list-a-million-files-in-a-directory-but-not-with-ls.html

[havanap]

おもろ

[igni3]

1度なら10秒くらいは我慢できる。頻繁にやるならファイルリスト記録したデータを別に用意する(リストアップデートの工夫は必要)。

[napsucks]

Maildirに100万通とかメール入ってると大変よね

[Shinwiki]

まじでいってんのかネタなのかわかりづらい

[peketamin]

echo *だとどうなんだろ。ワイルドカード解釈の分、遅いかな

[ngsw]

ウドのコーヒーが苦いのと同じくらい、ソートつきのlsは遅い

[kenzy_n]

コマンドをカスタムしていくのはワクワクする。