並列処理がとても苦手なPythonはプロセスを分けよう コードを書く時に意識したい2つのTipsと2つの落とし穴

Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介 西川大亮氏（以下、西川）：ここからはPython編の「ちょっとしたデータ分析の並列化」というタイトルで、西川から話します。 GOに勤める西川です。今やっているのは、タクシーやハイヤーの営業支援。「お客さんを乗っけていない時間、どこを走ったらいいの？」とか「どういうところで待っていたら注文来やすいの？」というところのナビをする、「お客様探索ナビ」というサービスのいろいろなことをしています。小さなサービスなのでいろいろやっている感じですね。 P

[ledsun]

“BigQueryにデータを全部入れて、SQLでやると勝手に並列化していてむちゃくちゃ速いので（笑）。言語を変えるんだったら西川が最初に考えるのはそれかなと思います。”

[totoronoki]

最後の方に書いてあるけど、bigqueryにSQLでやってもらえばそっちのほうが早いのか。

[kkobayashi]

並列処理にPythonは向いてない、プロセス分けるとデータの共有がクソ面倒になるし。逆に並列処理に向いてるLLと言われても分かんないけど・・・

[bluegold]

macOS も fork() システムコールを使っていて、CoW も使われると思うんだけど、どういう意味なんだろう。macOS 用の Python なり Jupyter が Linux と macOS で fork() と spawn() を使い分ける実装だって言うこと？

[misshiki]

“Pythonは並列処理がとても苦手”

[delphinus35]

まるで、macOSがUNIX系ではなかったりPOSIXにも準拠していないかのような書き方が気になる。

[progrhyme]

LL系に対してはそういう印象持ってる

[knok]

そうそう、multiproccesing.Poolも内部的にpickleしてるのでpickleできないデータを扱えないんだよね

[iliorz419]

joblibはここで書かれてるようなことをやってくれる。Pythonではjoblibで扱える範囲でしか並列化しないようにしてる。

[deejayroka]

"言語を変えちゃうんであれば、それはなんでもありかなと思います。ただ、ちょっとしたデータ分析の中で西川がおすすめするのはGoogle Cloud PlatformのBigQueryにデータを全部入れて、SQLでやると勝手に並列化し"

[jintrick]

“Python 3.13ぐらいで、GILなし版を作るような話がちょっと出ていました。ニュースになっていましたね。なので、課題は持っているんだけれど、まだ直っていないという感じです”

[da-yoshi]

Pythonは並行処理で済ませて、IOの先に重たい並列処理をさせるのが楽でいい気がしている

[n_vermillion]

連携のオーバーヘッドを考慮しても実績ある言語で並列処理部分を組んだ方が良さそうな気がするなこれ。並列化部分でバグ作り込んだら後からのメンテナンスがすげー大変そう…。