データ分析プロジェクトの品質をキープしつつ効率的な検証をサポートする一時ファイル群の管理 - クックパッド開発者ブログ

研究開発部の takahi_i です。本稿はデータ分析、 機械学習関係のプロジェクトで数多く生成される一時オブジェクトおよびそれらのオブジェクトを保持するファイル（一時ファイル）を管理する取り組みについて解説します。 本稿の前半はデータを分析するプロジェクトの一般的なフローと起こりがちな問題（コードの品質管理）について解説します。後半はプログラム上で生成されるオブジェクト群をファイルに自動でキャッシュを管理するツール（Hideout）を使って、コードを整理整頓しやすくする施策について紹介します。 データを分析するプロジェクトの一般的なフロー まずデータを処理するプロジェクトや機械学習プロジェクトの典型的なフローについて考えてみます。まずは単純に機械学習器を取得した入力に対して適用するプロジェクト、次にもう少し複雑な事例、アプリケーションで利用するデータを生成するプロジェクトのフローについて

[soy-curd]

Hideout

[KSKSKSKS2]

生成するのに時間がかかるが使い回したい中間データをとう管理するかという話。共感しかない

[studio_graph]

伊藤さんの新作！これはすごく便利です