ログを gzip で圧縮しているなら zstd を導入しよう - Qiita

はじめに zstd コマンド(zstdless, zstdcat, unzstd なども)は gzip にも対応しています。特にデコードは拡張子を見て自動で gzip と zstd を切り替えてくれるので、 gzip 圧縮されたログと zstd 圧縮されたログが混在している環境でも透過的に扱うことができます。 なので gzip から zstd への切り替えは次のように段階的に進めることができます。 zstd コマンドツール群のインストール 圧縮されたログを扱うときに zstd を使い始める 圧縮フォーマットを zstd に切り替える 性能比較 Debian 9.3 で gzip 1.6 (aptでインストールしたもの) と zstd (1.4.0) を比べてみます。 対象となるファイルは ltsv でゴチャゴチャとアプリの情報を混ぜた重めの apache のアクセスログです。 (5,367

[agricola]

gzipより圧倒的に速いのでディスクイメージのバックアップには大変重宝している。GbEのこちらと向こうにzstdをインストールすると見かけ上の転送速度が1Gbpsを越えたりするぞ。

[censure]

fecebook所属Yann Collet氏(lz4開発者)のproduct。rpmはfedoraが31でxzからZstdへの変更を検討中　https://bit.ly/2WqT7Jc　圧縮/伸長の速度と圧縮率のバランスが優れてる　https://bit.ly/2Iqmk1V

[Kazumi007]

zstdを使うことで、gzipより高速に処理できる

[sonots]

.zst じゃなくて .gz でも zstd コマンドの方が速いのか

[tmatsuu]

gzipを高速に圧縮/伸長したいときはいつもpigzをインストールするようにしてる。pigzとzstdだとどうだろうか。とはいえzstd使っていき

[dynamicsoar]

ファイルの中身も関係あると思う。自分が試したときにはzstdはメチャ速いけど、どうやっても圧縮率は上がらなかった(gzipと同等程度、bzip2やxzより明確に悪い)。とにかく高速なのが欲しいなら試してみるといいかも。

[isobe_gab]

よく分からんけどpied piper感。

[dekasasaki]

いい

[jtw]

そんないい物が

[tengo1985]

RPMがzstdになるんだっけ

[inductor]

etcdに見えた

[z67kjh]

zstdは1.0が出てもう3年経ってるのだし、そろそろブラウザ対応が欲しい

[Nyoho]

いいじゃん

[onesplat]

すごい。なんでそんな早いん？

[lli]

へー

[iwanofsky]

ちりつもっすな。

[gogatsu26]

“圧縮形式がgzipのままでも、zstdコマンドを使うことで40%ほど高速化できます。 なので圧縮形式を切り替えなくても、調査等のために何度も gunzip するのであれば zstd コマンドをインストールしておいて損はない”

[tohokuaiki]

へぇー。