ファイルシステムよりも35％高速に | POSTD

1. 概要 SQLiteを使うと小さなBLOB（例：サムネイル画像など）を読み書きする場合、fread()やfwrite()を使って個別のファイル上に記録されたBLOBを読み書きするよりも35％も速く (*1) 読み書きができます。 さらに、10キロバイトのBLOBを扱うようなSQLiteデータベースを考えた場合、個別のファイルにそれぞれのBLOBを格納する場合に比べてディスク領域を約20％も節約可能です。 このようなパフォーマンスの差が生じる理由は、（私たちの考えでは）SQLiteデータベースの場合、open()やclose()システムコールが呼び出されるのが1回だけなのに対して、個別のファイルに格納されているBLOBを使用する場合は、open()やclose()がBLOBの数だけ呼び出されるためだと思われます。どうやらopen()とclose()を呼び出すオーバーヘッドは、データベース

[lizy]

SQLiteをblob格納ファイルシステム？として扱うと、実ファイルシステムより速いらしい。小さいファイルが多数ある場合は意味があるのかも

[mikage014]

あの時WinFSがリリースされていたら違った未来になっていたかもしれない

[animist]

sqlite はやいんだなぁ。

[moccos_info]

Windowsェ…サーバー用途では関係なかろうが、アンチウィルスソフトがあるともう一桁違うとか。

[tmatsuu]

おお、あの記事の日本語訳素晴らしい

[otchy210]

細かい多数のファイルを扱うより、実ファイルは 1 つで仮想的に複数のファイルを扱う方が早いのは、直感通りではある。Web 界隈でも良くやるやつ。

[sgo2]

うろ覚えだけど、メモリマップトファイル経由でファイルを開くとキャッシュ処理が行われないので高速に開く事ができる、というMSのドキュメントを読んだ記憶が。

[hiroomi]

“呼び出すオーバーヘッドは、データベースを使用するオーバーヘッドよりも大きいようです。”

[jitsu102]

「どうやらopen()とclose()を呼び出すオーバーヘッドは、データベースを使用するオーバーヘッドよりも大きいようです」

[l-_-ll]

SQLite

[wwolf]

へぇ〜

[rgfx]

約10kbの細切れを1GB分用意してI/Oしてみた話。Windowsのファイルのopen/closeの遅さが際立つなあ。

[JULY]

単純に大きなファイルの中に入れて mmap でアクセスする、という話かと思ったら、もっと複雑な話だった。

[a-know]

ふぁっ

[kitokitoki]

へー

[masudaK]

今まで関わったシステムで積極的に使うところなかったけど、どこかで活躍できるところはあるのかもしれない

[pipehead]

/* https://www.sqlite.org/fasterthanfs.html の和訳 */ > SQLiteの読み込み/書き込みレイテンシが、ディスク上の個々のファイルの読み込み/書き込みレイテンシと拮抗するということです。また、多くの場合で高速なのはSQLiteです。