pythonで巨大なファイルをソートする - Qiitasubprocess.Popenの挙動の勉強になったので、忘れないようにメモ pythonで巨大なファイルを扱うときは、全てをメモリに載せないよう、イテレータを使っての逐次処理を非常に頻繁に行う。 が、sorted()関数は巨大なファイルに対しては使えない。これはイテレータをリストに変換してから処理を行うため。 巨大なファイルをソートしたいときはUnixシステム側のsortを使う import subprocess def sorted_file_generator(filename): proc = subprocess.Popen(['sort', filename], stdout=subprocess.PIPE) while True: # while を使って1行ずつ受け取る line = proc.stdout.readline() if line: yield line.de
