大規模リポジトリで高速にgit cloneするテクニック - DeNA Testing Blog

ニッチな話題ですが、業務におけるCI/CDの現場では避けることのできない大規模リポジトリと戦うためのgit cloneのテクニックを紹介します。 この記事はDeNA Advent Calendar 2020の10日目の記事です。 CI/CDマニアの@Kesin11です。SWETではCI/CDチームの一員として、CI/CDの啓蒙活動やJenkinsを必要とするチームのサポートなどの業務を行っています。 はじめに おそらくどこの会社でも1つぐらいは巨大なリポジトリが存在しているかと思いますが、歴史あるリポジトリはgit cloneするだけで数分を要し、checkout後のリポジトリサイズがGB単位になることも珍しくないでしょう。業務で古くから存在するプロジェクトのリポジトリを触ったことがある方はきっと経験があるかと思います。 git cloneを実行するのは最初のセットアップ時だけなのであまり

[korosuke613]

“最初のステップでcheckoutしていると思いますが、実はこの裏ではdepthオプション無しでgit cloneが実行されているため過去の全コミットが取得されています。” CircleCI デフォルトで depth=1 してくれてるもんだと思ってた〜

[su3dep]

とりあえず最新ほしいなら --depth=1 でいいな

[efcl]

git cloneのshallowやsingle-branchの話。 各CIでのデフォルト値

[yamadashy]

これやらないと異動で1日潰れたりする

[castaneai]

depth=1, sparse_checkout

[mapk0y]

circleci では cache を利用するのも手だと思う。初回は重いけど、２回目以降は軽くなる https://circleci.com/docs/2.0/caching/#source-caching

[onesplat]

無いとは思いつつ、初回だけ丸ごとcloneして以降はpullするだけの運用は不可能なのだろうかと考えてしまった。

[proverb]

なるほどなぁ、勉強になる

[ryuichi1208]

小規模チームでgitを自前で立ててた時はcloneを複数人でやるだけで負荷すごかった思い出。

[hiboma]

https://github.com/actions/checkout は fetch-depth: 1 にしてくれてた 🐙

[shoma]

sparse-checkout