[MySQL][Python]8000万レコードをInsertする | Momentum

概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい

[USuck]

サーバのレスポンスとかDBの処理速度とかチューニングするの本当に楽しいよなぁ。めっちゃ速くできた時とか脳汁溢れまくるもんなぁ。

[wiz7]

“Multiple Insert最強”

[tofy]

“当初30日かかるという無謀な計画が、無事2時間で終えることができました。 最初どんだけ効率悪いコード書いてたんだって話ですねorzorz Multiple Insert最強ね。”

[taka222]

“Multiple Insert”

[michael-unltd]

Insert large data into RDS.

[ginzi009]

[MySQL][Python]8000万レコードをInsertする

[kazuph1986]

参考記事のLOAD DATA INFILEが最強かどうか知りたい。

[gabill]

世の中の「バッチ処理が終わらない」という事例の中には、こういうちょっとした工夫で一瞬で解決できるものがたくさんあるんだろうなぁ。

[tmatsuu]

cnx.cursorにprepared=Trueを設定してPrepared Statementで実行したらどうだろう。まぁそれでもMultiple Insertの方が早いと思うけども。

[bayaread]

こういうのすごく興奮する

[shodai]

my sqlだとログがパンクしないのかな

[motchang]

知識としては知ってたけど良いベンチだなー

[peketamin]

イカンザキ

[shingok]

かんたんでわかりやすい