リクルートのエンジニアが詳説、クラウドネイティブな「機械学習基盤」を内製した理由

本連載では、リクルートでデータエンジニアとして社内のデータ活用基盤の構築に携わりデータ活用を推進してきた宮井と、データサイエンティストとして分析業務や機械学習システムの開発に取り組んできた秋庭が、どのような機械学習基盤を内製してきたのか詳しく紹介していきます。 筆者らが所属するリクルートは、企業と人（B2C）、企業と企業（B2B）、人と人（C2C）、全ての間に立ち、双方にとって最適なマッチングを図る「場」を提供しています。 このようにリクルートは複数のサービスを展開しているのが特徴です。さまざまな規模のサービスがあり、蓄積されるデータのサイズも異なります。 クラウドネイティブを志向する理由 さまざまな規模のサービスを提供、運用していくに当たって最適なコストで機械学習基盤を構築しようとすれば、それぞれのサービスが要求する性能に合わせた柔軟なスケーリングが欠かせません。また事業のビジネス要件か

[misshiki]

“リクルート内製社内プロダクトを紹介。Croisは機械学習処理をメインのターゲットとしたコンテナベースのジョブスケジューラー、ワークフローエンジンです。...Craftoは機械学習の自動化基盤です。”