Cloud Composer と GKE を活用して機械学習のワークフローを構築する - GiXo Ltd.TAG : Airflow | Cloud Composer | GCP | Kubernetes | MLOps | Refeed | tech | Tech & Science AUTHOR : ギックス POSTED : 2020.02.10 09:06 GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 GKE) クラスタ上で実行する構成を取っています。 GKE では複数の node pool を定義できるため、予め用途に応じた複数の node pool を用意しておくことで、タスクに応じた環境の割当てを容易に実現することができます。（現在は β版の提供に留まっていますが、GKE 側で利用リソースに
