『Python §４０ ： pandasのデータ読み書きはpickleを使うと激速だった！』前回、pickleというオブジェクトを保存する方法を紹介しました。ひょっとして、このpickleを使うとpandasモジュールを使ったデータ処理結果を保存しておいたり、再度読み出すことが速くなるのではないかと思い、リードライトする速度を測ることにしました。 まずは150万行程度のcsvファイルを以下コードで生成します。 def file_write_test(): xy=[] x=np.linspace(-np.pi,np.pi,1500000) for r in x: y=np.sin(r) xy.append([r,y]) wfilename='csv_write.dat' csv_write(wfilename,xy,dialect='comma') return xy
『Python §４１ : 実践編Pandasのデータをpickleモジュールで読み書きする』
