Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル

Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧

[gabill]

コンパイラとかリンカとか圧縮アルゴリズムとか、散々最適化されたはずなのに今でもまだまだ改善されていくのは驚き。

[akiraki]

standard(標準、基準)という名前を軽々しく使うなボケェという気持ちがある

[sora_h]

xzはフォーマットが曖昧で長期保存するには危険という話もある。コスパは全体的にzstのほうが良いし、早くどこでも気にせず使えるようにならないかな… https://www.nongnu.org/lzip/xz_inadequate.html

[fai_fx]

https://github.com/mcmilk/7-Zip-zstd Zstandardを追加した7-zip がある。

[ysync]

linuxカーネル4.14から標準でbtrfsで使われてんのか、知らずに使ってそうでもあるな。まぁアーカイブは互換性あった上での圧縮率や速度だな。まぁossだし、死にはしないだろうから使うか。

[tmatsuu]

m2tsは既に圧縮されてるから圧縮率が低いのは致し方なし。テキストファイルでもログのような同じような表記が繰り返し出てくる場合はgzipで体感10%ぐらいまで小さくなるが、zstdでどんなもんか確認したい

[napsucks]

gzipも十分軽いと思ってたが、zstdは爆速と言っていいレベルだな。httpのgzip圧縮はコンテンツのリッチ化、圧縮のほぼ効かない動画・画像の主流化でほぼ忘れられた技術になってるけど、これで復権するかも？

[GENS]

動画だと復号化の時間も比較するけど、Zstandardは多分早いんだろうなあ。今後のために頭の片隅に置いておきます。

[knok]

xzはファイルフォーマットの設計がいまいちという指摘がある https://www.nongnu.org/lzip/xz_inadequate.html

[kazuph1986]

爆速だった。Lisp使ってる時に発見という事で、Lispも触りたくなった。

[dorapon2000]

“やはりzstdのコスパの良さが目立つ。特にテキストデータではコスパがとても良い。brotli圧縮は特にテキストを圧縮する場合に効力を発揮するようだ。”

[zyzy]

まだまだ出てくるもんなんだな

[terazzo]

通信時の圧縮に良そう

[nezuku]

どれぐらい圧縮後のデータが使いまわされるのか、どこで圧縮を行うのかによって圧縮アルゴリズムの選びどころが変わるか zstdは動的なデータ向けなのかな

[asiamoth]

7-Zipには差分圧縮（ミラーリング）オプション`-u`があるから、二回目以降の圧縮が高速に終わる。一方、tarには増分圧縮しかない？¶とはいえ、Zstdのバランスの良さは魅力だから調べてみようかな。

[apipix]

zstd

[aceraceae]

ほう。

[Helfard]

テキストファイルって案外圧縮率低いんだなあ。

[y_hirano]

zstdはファイルシステムレベルでも使えるくらい速いし、btrfsやOpenZFS 2.0でも採用されてたりする。HDDの場合、zstd で圧縮してる方が速い。CPUがボトルネックにならない。

[stealthinu]

zstdとう圧縮ツールが最近あるそうでgzipと同じくらいの圧縮性能だけど速度が段違いらしい。これは使えるかも。

[rna]

そこまで速くなるものなのか。

[buhoho]

知らなかったー

[YaSuYuKi]

サーバではなくアプリ側で使用することを検討したことがある。結論はZstandardが最善、だったが、まだ実装できていない

[moromoro]

(非常に高速)(今日から使えます) で一瞬にして読む気失せる件、情報商材屋さんのお陰だよ

[mohno]

Zstandardが速いのは何よりだが、このフォントは何なんだろう。MacとかLinuxとかだとキレイなフォントなんだろうか。

[agricola]

gzipとかと違って標準ツールがマルチコア圧縮に対応してるのもありがたい。

[mayumayu_nimolove]

すげえ。やはり天才の集まりだな。meta絡んでるのかは知らんけど。

[maeda_a]

アルゴリズムについては書いてなかった

[so-apps]

SBCL、生きとったんか…

[miguchi]

“Zstandard”

[kenkoudaini]

最後の、圧縮率/秒数 ってどういう意味があるのだろうか

[aox]

Windowsのディスク圧縮これになりませんかね

[K-Ono]

unzstandard64.dllが待たれる。