実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt

データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること

[tmatsuu]

dvcの使用例

[sh19910711]

"シードを固定し、ログやMLflow等で実験結果を残しても、入力データが再現できなければ実行は再現できません / DVC: データのバージョンが管理 + パイプライン管理 + 実行結果の指標蓄積や指標推移の視覚化機能もあり"