Kedro を用いた分析コンペ向けのデータパイプライン構築

Kaggle Advent Calendar 2019 の9日目の記事です。 一応自己紹介を書いておくと、 Kaggle は mhiro2 という名前でここ1年くらい趣味としてやっています。 本業では、 MLOps の一環として、 GKE や BigQuery, Cloud Composer, MLflow などを活用した自社向けの機械学習基盤開発をやっています。 ML やデータ分析の理論や技術そのものよりは、 ML のサイクルを円滑に回すためのシステムデザインやアーキテクチャなどの仕組み化に関心があります。 はじめにKaggle をはじめとした分析コンペに取り組んでいる方の中には、自前のパイプラインを構築されている方も多くいらっしゃるかと思います。そもそもパイプラインとは何ぞや、という話ですが、EDA や特徴量のエンコードなどの前処理はもちろん、複数のモデルやパラメータでの学習やアンサン

[sh19910711]

2019 / "Kedro: Python で全てのワークフローを記述 + yaml でデータカタログを定義 / ワークフローをコードベースで定義して実行できる類似の OSS としては、最近話題の Metaflow を始め、 d6tflow , Steppy, Sacred などなど"

[dogwood008]

便利そう