Python で大量のファイルを並列で速く読み込む - Qiita

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 columns = [f'col{i}' for i in range(col_n)] for i in range(10000): df = pd.DataFrame(np.random.randn(row_n, col_n), columns=columns) df.to_csv(f'data/{i:04}.csv',

[grafi]

Qiitaのコメントにも書いたけど、十分に速いSSD使ってるならCPU律速です。PandasのCSVパース処理はGIL開放するようです。あとここではあんまり関係ないけど、ファイルが小さい場合はデータフレームのオブジェクト生成が律速

[HHR]

GIL。コメントが本体感ある。pandasはcの実行なのでGILを開放する

[misshiki]

試してみる。

[bob3]

rで試してみよう。vroom::vroom()使えば結構速いはず。

[mzi]

なるほど。ということはマルチプロセスにすべきなんだね。『Python (CPython) のマルチスレッドは GIL (Global Interpreter Lock) の制約があり、複数のスレッドが同時に Python バイトコードを実行することができない。』

[mohno]

マルチプロセスで高速化するなんて、ファイルシステム最強ってこと？と思ったけど、コメントによればファイルI/OじゃなくCSVのパースで時間がかかっているだけなのか。ふーん。

[endo_5501]

“ファイル読み込みのような I/O バウンドな処理は高速化できるかもしれないが”

[igni3]

マルチスレッド/マルチプロセスで速くなるのはCSVのパース処理に食われてるからかもしれない。

[laughing]

dask とか vaex とどっちがいいんかな

[roirrawedoc]

同じ二時記憶装置にアクセスしてるのにCPUを並列化したら速くなるって発想がよくわからない／SSDならまだゆとりあるのか。HDDかと思った

[topiyama]

マルチプロセスとマルチスレッドの差はGIL制限（『複数のスレッドが同時に Python バイトコードを実行することができない』）だって。

[aipacommander]

ほとさん

[rokujyouhitoma]

cythonでnogil

[gayou]

pythonでマルチスレッド、マルチプロセスでファイル読み込みすると早い。

[agricola]

あんまりワークユニットのサイズを小さくすると、かえって遅くなるから注意しましょう。