Zlib 1.2.9 Released, First Update In Three Years - Phoronix
Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 19+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor
SWFバイナリ編集のススメ番外編 (zlib 伸張) 前編 | GREE Engineering
こんにちは。アプリケーション基盤チームのよやと申します。 バイナリの目利きや書き換えを主な業務フィールドとし、1% でも多くのユーザの皆様にサービスをお届けする為、より良質のバイナリを探し求める毎日です。 SWF の番外編として zlib 伸張について２回のブログに分けて解説します。(圧縮処理は対象外です) 前編の今回は概要についてお話し、具体的な実装は後編で扱う予定です。 はじめに SWF フォーマットは zlib 圧縮を多用します。例えば、GIF/PNG 画像は独自画像形式(DefineBitsLossless の BitmapPixelData)に変換後 zlib 圧縮して格納します。 http://labs.gree.jp/blog/2010/12/1902/ SWFバイナリ編集のススメ第五回 (PNG) SWF バイナリの中の zlib 圧縮されたデータが怪しい場合に、zlib
カスタムハフマン符号 - 七誌の開発日記
ZIP勉強会（id:n7shi:20110529）を開催しましたが、時間の都合もありカスタム（動的）ハフマン符号については「RFC 1951を読んでください」で説明を省略しました。IO_Zlib開発者のid:yoyaさんからコメントを頂いたので、某「例示は理解の試金石」を実践してみました。 よやさんのまとめ id:yoya:20110726:io_zlib .NETのDeflateStreamはどんな短いものでもカスタムハフマンで圧縮します。それを利用して "aaaaa" というASCII文字列をカスタムハフマン圧縮してみます。 open System.IO open System.IO.Compression open System.Text let fs = new FileStream("test.bin", FileMode.Create) let ds = new Deflate
Fighting Cancer: The Unexpected Benefit Of Open Sourcing Our Code
Fighting Cancer: The Unexpected Benefit Of Open Sourcing Our Code07/08/2015 Recently I was contacted by Dr. Igor Kozin from The Institute of Cancer Research in London. He asked about the optimal way to compile CloudFlare's open source fork of zlib. It turns out that zlib is widely used to compress the SAM/BAM files that are used for DNA sequencing. And it turns out our zlib fork is the best open s
Random access to zlib compressed files
Zlib / gzip is probably the most popular library/tool for general data compression. In zlib, there is an API gzseek() which places the file position indicator at a specified offset in the uncompressed file. However, whenever it gets called, it starts from the beginning of the file and reads through all the data up to the specified offset. For huge files, this is very slow. It is actually possible
zindex - index your compressed text files
Scratching your own itch @mattgodbolt / @mattgodbolt My problem 5000+ read-only archived JSON log files on NFS Average 450MiB gzipped, 4GiB uncompressed Need to find entries by a unique ID zgrep $ zgrep -E '^\{"eventId":63181572,' audit.log.gz {"eventId":63181572,...} Takes 14 seconds zgrep has to uncompress every byte of the file to search it! Could index file ...but then would need to be able to
Improving compression with a preset DEFLATE dictionary
Improving compression with a preset DEFLATE dictionary03/30/2015 A few years ago Google made a proposal for a new HTTP compression method, called SDCH (SanDwiCH). The idea behind the method is to create a dictionary of long strings that appear throughout many pages of the same domain (or popular search results). The compression is then simply searching for the appearance of the long strings in a d
How gzip uses Huffman coding
I wrote a blog post quite a while ago called gzip + poetry = awesome where I talked about how the gzip compression program uses the LZ77 algorithm to identify repetitions in a piece of text. In case you don’t know what LZ77 is (I sure didn’t), here’s the video from that post that gives you an example of gzip identifying repetitions in a poem! I thought this was a great demonstration, but it’s only
School - JA-VA Code
Java – the most common programming language, it is not difficult to learn, so it is suitable for those who first approached the study of programming. Introduction Java course is designed for those who are just starting their way in the IT industry and have no idea about the basics of programming. During the course, students will learn to create Java applications and gain an understanding of OOP pr
Deflate (gzip) のアルゴリズムを視覚化してみた
のような感じにエンコードされることが分かります。 自分の好きなデータで試すことができて便利！という話でした。 PS. 以下は実行結果です。 % make % gzip < alice.txt > alice.txt.gz % ./puff -10 alice.txt.gz puff() succeeded uncompressing 1328 bytes 8 compressed bytes unused inpos=406,inbits=224,outpos=0,outbytes=45 41 6c 69 63 65 20 77 61 73 20 62 65 67 69 6e 6e 69 6e 67 20 74 6f 20 67 65 74 20 76 65 72 79 20 74 69 72 65 64 20 6f 66 20 73 69 74 74 A l i c e w a s b
Intel Makes Major Zlib Performance Improvements - Phoronix
Intel Makes Major Zlib Performance Improvements Written by Michael Larabel in Intel on 26 November 2013 at 02:05 PM EST. 7 Comments Intel's Open-Source Technology Center has prepared a set of thirteen patches against Zlib to sharply improve the deflate performance. Jim Kukunas of Intel OTC published the set of 13 patches on Monday that include medium and quick deflate strategies, a faster hash fun
技術/歴史/zip,gzip,zlib,bzip2 - Glamenv-Septzen.net
id: 495 所有者: msakamoto-sf 作成日: 2009-11-22 17:11:47 カテゴリ: Linux UNIX Windows [ Prev ] [ Next ] [ 技術 ] お仕事絡みで、ZIPファイルの歴史が気になったので調べてみた。 前々から何となく「gzipとzlibとzipってどう違うんだろう」とは思っていたのだけれど、WindowsでLhacaやLhaplusなどのアーカイブソフト、あるいはXP以降ならOSの機能としてデフォルトでzip圧縮できるし、Linux/UNIXでも2-3回コマンドラインオプションを試行錯誤してmanページ見ればtar.gz作ったり逆にWindows上で圧縮したzipを適当に解凍できるので「ま、いっか。」で済ませてた。 でもせっかくなので、技術的な詳細には突っ込まないが、ざっくりとした歴史や流れをWikipediaを中心に追って
Deflate
2. このスライドについて • Deflateの実装に必要な知識はRFC 1951に 網羅されている • しかし定義が並んでいるだけなので、いきな り読んでも意味がわからない • 実際のDeflateのデータとRFC 1951を見比 べながら試行錯誤して、ようやく把握 • RFC 1951を読む前の導入的なスライドを目 指して作成、網羅的解説ではない 3. Deflate • ZIP, gzip, PNGで使われている圧縮方式 – ZIPはコンテナ込み、gzipはコンテナなし（→tar） • RFC 1951で定義 • 圧縮率はtar.gz, tar.bz2, tar.xzを比較すれば 目安になる – そこそこの圧縮率とそこそこの処理速度 • バイトの可変長bit化とコピペで圧縮 – 可変長bit化をハフマン符号化と呼ぶ – コピペをLZSSを呼び、LZ77の亜種 4. テスト（Pytho
School - JA-VA Code
Java – the most common programming language, it is not difficult to learn, so it is suitable for those who first approached the study of programming. Introduction Java course is designed for those who are just starting their way in the IT industry and have no idea about the basics of programming. During the course, students will learn to create Java applications and gain an understanding of OOP pr
MySQL InnoDB Pluginのデータ圧縮機能 - SH2の日記
InnoDB Pluginの面白い機能の一つに、データ圧縮機能があります。今回はその仕組みと効果について見ていきたいと思います。まずはグラフをご覧ください。 これはWikipedia日本語版のデータベースをダウンロードし、記事本文の格納されているtextテーブルをMySQL 5.1＋InnoDB Plugin 1.0の環境にロードしたものです。 元テキスト：今回利用したデータは2009/06/21版のものです(jawiki-20090621-pages-articles.xml.bz2)。元テキストはここからXml2sqlを用いてタブ区切りテキストを取り出したものを用いています。このファイルには1,167,411件の記事が格納されており、容量は3,436MBとなっています。 元テキスト gzip：元テキストをgzipコマンドで圧縮したものです。 MyISAM：記事をMyISAMのテーブルに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Updated zlib benchmarks
Simple DEFLATE decompressor
ひけらかし会：辞書式圧縮
Why isn’t it possible to read gzip files from the middle?
ZIP勉強会
