pandasで1000万件のデータの前処理を高速にするTips集 - Qiita

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな

[kojiro-s]

pandas

[phare]

qiitaについたコメント含めて参考になる

[tmatsuu]

メモ

[hatakazu93]

技術

[h_taiji]

ちょー良いことこ聞いた

[kizimuna06]

マシンスペックで殴るみたいな事じゃなかった

[himako13]

普段時間測らないからありがてぇ／２番目のマスタ作るやつは同値の列作ってmergeしたほうが速いしシンプルじゃないかな。／pandasでfor文使うのは最後の手段。大体のことはメソッド用意されてる。１番目のもあったはず

[ryo_ryoo_ryooo]

DataFrameの操作は遅いから最後にまとめてするって事だけ覚えとけば良さそう。Begin End で括ったら速くなるとかできたらいいな。

[vndn]

前にpandas使った時は、Daskとかいうライブラリを使った気がする。

[multiverse2011]

1ヶ月前に知りたかった…

[psfactory]

pandasで1000万件のデータの前処理を高速にするTips集 - Qiita