大きなGitリポジトリをクローンするときの工夫を図解します - DeNA Testing Blog

こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容

[yarumato]

“大きいファイル（画像、音声データなど）をGit LFS（Large File Storage）に置くことで、リポジトリ内のオブジェクトとしては保存しない方法。実体を別のストレージに置き、その参照（SHA256ハッシュ）のみをコミット”

[devorgachem]

LFS のあたり全然知らなかったのでよかった

[suika3417]

後輩がでかいgitでひどい目にあってたからなんか使い道ありそうだな

[nntsugu]

Git repositoryの高速化あれこれ

[efcl]

git checkoutのパターン

[tmatsuu]

シャロークローンはよく使うけどそれ以外は知らなかった。わいわい。

[braitom]

大きなGitリポジトリのClone方法について。shallow clone、partial clone、reference cloneなどの方法、メリット、注意点などがまとめられている。

[kazuhooku]

「パーシャルクローンは操作に必要な要素のみを取得」「git diff などファイルの内容を必要とする操作をすると、オンデマンドでダウンロード」

[tasukuchan]

“ブランチ”

[raimon49]

Jenkinsの設定ファイル今こんな感じなんだ

[rin51]

gitのbk

[matsubobo]

CI/CDに便利！ “git clone --depth=1 ”

[anek-box]

“reference”

[sonots]

リファレンスクローン、スパースチェックアウト

[ya--mada]

遠い話である…、（gitが無い世界の住民なんです…）

[gfx]

結構知らないことがたくさんあった。

[ene0kcal]

話は逸れるが、Git LFSって暗号化はされているの？？

[kakku22]

リファレンスクローン知らなかった！図解が素晴らしくてわかりやすい👏

[sc3wp06ga]

任意に指定した直近数十コミットはローカルに取得しつつ、それより古いものはオンデマンドで都度ダウンロードする、シャローとパーシャルのハイブリッドが欲しいところ。

[shoh8]

こんないろんな方法あるのか。Jenkinsに組み込むときに軽量化は大事

[Kesin]

Github公式ブログの日本語訳も相当詳しく解説されているので合わせて見てもらえるとより理解しやすいと思います

[momonga_dash]

“2021”

[tattyu]

今手伝ってるプロジェクトで使ってるライブラリ、2度と合流しないブランチが死ぬ程あってめちゃくちゃ巨大で依存関係もぐちゃぐちゃでずーっとイライラさせられてる。負債で出来たバベルの塔。

[Nunocky]

git LFSはしょっちゅう登録漏れでcheckout時のエラーを起こすし、黎明期からのヒストリなんて持ってても仕方ないだろというのも gitの気に入らないところ。けど現時点でこれよりまともなのが存在しない

[ryopeko]

大きなリポジトリ...うっ頭が...

[Fushihara]

バイナリファイルと巨大レポジトリはgitの根本的欠陥だからなんとかして欲しい

[yujiorama]

リファレンス知らなかった。最新版だけ欲しいときはアーカイブで取得するほうが効率的な気もする