【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただけると幸いです。 この記事の概要 機械学習に使う特徴量の作成で1週間かかりそうな処理を10分くらいで終わらせられないかと考え、GKE(=GoogleのKubernetes環境)を使い試行錯誤した記録です。 今回は一部失敗して完了時間が1.5時間になったものの、設定を上手く出来れば15分程度で終わる見込みです。 対象読者 ・Kubernetesの概要は知っているくらいのレベルの人 ・KubernetesのJobを使った並列処理をしたい人 目次 この記事の概要 対象読者

[wata88]

手がかかりすぎる気がする。やってみたい気持ちはわかるし、やり切れててすごいと思う

[ryunosinfx]

これが理想なんだけど、いろいろ人間がちぎって投げる仕事の分量をコーディネートしてる時点でもにょる。多分粒度をもう少し何とか出来たり、永続化の自由度を上げると自動化できんのかな・・・

[fullmated]

おもしろそうやってみたい