S3のコストを大幅に削減した話 - Gunosy Tech Blog

広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な

[yuutookun]

かいた

[MonMonMon]

“gzipファイルは複数ファイルを結合しても読み込むことができます。” これは便利

[tagomoris]

gzをmultipart uploadの各チャンクにすることでアップロード先で結合するの面白アイデアだな

[peketamin]

貧乏プロジェクトでDBバックアップをgz圧縮+分割してGmailのゴミ箱へ投げてたの思い出した

[tyoro1210]

昔カメラのrawファイルのバックアップ先探した時に、put のリクエスト下げる為に自動で一定期間ごとのデータ固めつつ、判別可能なレベルのサムネを結合したjpg吐いて それだけ手元で管理するとかしてたな

[tkysktmt]

“実際にgzipファイルに対してcatしてみるとgzcatで読めることがわかります。 ” へぇー

[dkfj]

GlaicerのPUT APIのコスト考えると、ファイルまとめて圧縮するが正解。これをライフサイクルで指定できればいいんだけどなぁ。昔、AWSのSA陣と純正機能だけで、できるだけ楽に実現できないか議論させてもらったなぁ

[bonlife]

いいですね。ただ、取り出すときどうやるんだろ。Glacierも部分的に取り出せそうだけど、どの範囲を取得するかの情報を別途DynamoDBとかに保存しとかないと全部展開するしかなさそう？

[lesamoureuses]

なるほどー “単一のファイルを一つにまとめることができれば、GlacierへのPUTリクエストの回数を大きく削減することができます”

[kamatamadai]

GlacierへのPUT料金は高めのため、大量のリクエストが発生し、数万ドルの請求が発生した > MultipartUploadを利用してgzipファイルにまとめた

[dealforest]

“Glac”

[sora_h]

モチベーションも結果も全部みたことある流れでうける（うちもやりました）

[razokulover]

GlacierのPUTって結構高いのか

[knok]

gzip結合じゃなくtarとかの非圧縮アーカイブではだめだったのかな。ログならまあいいだろうけどcsvだとヘッダが複数つながって面倒そう

[omron]

“gzipファイルは複数ファイルを結合しても読み込むことができます”

[for-my-internet-demo]

このへんのアーカイブよくやるパターンな割に、手順が無駄に複雑で全社大仰なことしてるイメージ。

[mysql8]

Cloud Storageの方が安い

[cocoasynn]

これは良い取り組み

[shikiarai]

その辺の料金の考えが嫌で使いたくないんだよね〜といいつつ

[fukumura]

φ(･ω･ )ﾌﾑﾌﾑ...

[lont_in]

gzipの圧縮率で十分だけど、マシン性能が潤沢ならzstdおすすめ

[a-know]

ほぇー

[napsucks]

同じように使えてもう少し圧縮率の高いbzip2やxzにすることでもうさらに節約できそうね。

[takuya_1st]

gzipのcatで結合は面白い

[shunyy]

We

[Nyoho]

“容量制限の5GBまで溜まったらGlacierにCOPYすることでGlacierへのリクエストを最後のコピーの1回だけに抑えることができます。”

[nekonenene]

移動コストで死なないために、gzipでまとめたものを渡すことでPUT回数を抑えたのか～、なるほど

[takaya030]

"gzipファイルは複数ファイルを結合しても読み込むことができます。"

[minamishinji]

大量のデータを使うことはまだないかもしれないけど、gzipの仕様について学びがあった。

[ya--mada]

ファイルサイズ5GBまでをcatで繋げてブチ込むだけ。digdag ってトレジャーデータのプロダクトなのか、パーフェクトキューの後継&&要件見直した版って感じか？ https://speakerdeck.com/dmmlabo/digdagwodao-ru-sitemite

[rrringress]

gzip 複数ファイルを re で検索できたりするの便利だよね

[rx7]

"MultipartUploadを利用して複数のgzipファイルを単一のgzipファイルにまとめる", "GlacierへのPUTリクエストの回数を大きく削減することができます"