タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
はじめに Wordpressの脆弱性狙いの不正アクセスに対して、展開後にとても大きくなるgzipファイルをレスポンスすることで攻性防壁を構築するブログを参考に、nginxを用いてMacのローカルPCに検証構築した記録です。 参考： How to defend your website with ZIP bombs ソフトウェアバージョン MacOSX Sierra nginx : 1.12.2 手順 Homebrewにてnginxをインストールして検証しました。 nginxの設定ファイルなどのパスについては、自分の環境に適宜置き換えてください。 1. gzip爆弾ファイルの作成 展開後に10GBになるgzファイルをwww配下に作成します。 圧縮状態だと10MB程です。
はじめに zstd コマンド(zstdless, zstdcat, unzstd なども)は gzip にも対応しています。特にデコードは拡張子を見て自動で gzip と zstd を切り替えてくれるので、 gzip 圧縮されたログと zstd 圧縮されたログが混在している環境でも透過的に扱うことができます。 なので gzip から zstd への切り替えは次のように段階的に進めることができます。 zstd コマンドツール群のインストール 圧縮されたログを扱うときに zstd を使い始める 圧縮フォーマットを zstd に切り替える 性能比較 Debian 9.3 で gzip 1.6 (aptでインストールしたもの) と zstd (1.4.0) を比べてみます。 対象となるファイルは ltsv でゴチャゴチャとアプリの情報を混ぜた重めの apache のアクセスログです。 (5,367
良い話を含むので概要の最初だけでも読んでもらえると幸いです。この話が実用的かと言うと多分全然実用的ではないので理解しても仕方ないかなと言う気がします。 概要 ファイルフォーマット gzip 10-byteのヘッダ 拡張ヘッダ ファイル本体 フッタ（trailer） zip ローカルファイルヘッダ Data descriptor セントラルディレクトリエントリ セントラルディレクトリの終端レコード gzipからzipへの変換 gzipヘッダの処理 gzipファイル本体の処理 gzip trailerの処理 複数gzipファイルの連結 PoC まとめ 概要 先日Dirty PipeというLinuxカーネルの脆弱性が公表されました。 dirtypipe.cm4all.com この脆弱性の原理自体も面白いのですが、その前に報告者の組織で行っているGzipとZIPの処理で引っかかったのでまず先にそち
ARM64 版 Windows 11 で動作する dd + gzip 自作ツール (物理ディスクのイメージ化 + リストア、Linux の dd + gzip 互換) の提供 - Qiita
ARM64 版 Windows 11 で動作する dd + gzip 自作ツール (物理ディスクのイメージ化 + リストア、Linux の dd + gzip 互換) の提供WindowsC#Win32APIarm64Windows11 by 登 大遊, 2022/11/18, Quiita 初投稿記事 Microsoft 製 「Windows Dev Kit 2023」(Windows ARM64 開発キット、32 GB LPDDR4x RAM、512GB SSD) というハードウェアは、実に玄人志向であります。素人には、お勧めできません。なぜならば、PC 利用における極めて基本的な操作 (ディスクイメージの dd + gzip 的なバックアップ、復元) をするために必要な ARM64 版 dd ツールが (見渡す限り) 存在しないのです。そのため、自分でプログラミングして作る必要があり
JSON is the de facto standard for exchanging data on the Internet. It is relatively simple text format inspired by JavaScript. I say “relatively simple” because you can read and understand the entire JSON specification in minutes. Though JSON is a concise format, it is also better used over a slow network in compressed mode. Without any effort, you can compress often JSON files by a factor of ten
どういうこと？ 少し前に、CSS プロパティを自動ソートすると gzip 時のビルドサイズを減らせる記事を見ました 👇 これにならい、JSX の Props もソートしたら同じようになるんじゃね？って思って試したら、ビルドサイズを減らすことができたので、この場を借りてその知見を共有したいと思います 💪 検証環境 パッケージ名 バージョン
GitHub - knadh/autocomp.js: A super tiny Javascript autocomplete / autosuggestions library. Zero dependencies, ~800 bytes min+gzip.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
lexical_search_with_gzip.py p�ɸU ���ɸU import gzip def gzip_search(query: str, candidate_chunks: list[str], top_k: int=1): """ 文字列ベースで類似したテキストチャンクを推定するアルゴリズム. `query`, `chunk`, および`query + " " + chunk`をそれぞれgzipで圧縮し、編集距離のようなものをベースに評価する. Parameters: query (str): 検索クエリとして使用する文字列. top_k (int, optional): 返される類似チャンクの上位k個を指定する (default: 1). Returns: List[str]: 最も類似したテキストチャンクのリスト. --- Reference: - “Low-Re
SPA のロード時間を短縮するためにやったこと その２ - webpack で gzip 圧縮をかけたファイルを配信する - kjugk’s diary
前回 の記事で、静的ファイルにキャッシュを効かせる方法を紹介しました。 kjugk.hatenablog.com この記事では、次のパフォーマンス改善策として、 静的ファイルにgzip 圧縮をかけて転送量を減らす方法を紹介していきます。 環境 webpack 4.17.1 nginx 1.12.2 なお、サンプルはすべて、拙作の こちら のアプリで、約 41 KB のミニファイ済み JavaScript ファイルを圧縮した結果を比較しています。 配信時に圧縮する nginx では、簡単な設定で、レスポンスに gzip圧縮をかけることができます。下記は js, css に gzip圧縮を適用する例です。 Enable gzip on Nginx. ブラウザで確認すると、レスポンスヘッダーに content-encoding: gzip が付与されており、圧縮済みのファイルが配信されています。
gzip形式のままでもっと圧縮する | Qrunch（クランチ）
TL;DR zopfliよりp7zip使おうぜ 初めに ご存知の通り、gzipはデータの圧縮にRFC 1951のdeflateというアルゴリズムを使用している。実はdeflateを実装しているのはgzipだけではなく、ほかの実装を使うことで、gzipと同じファイルフォーマットでより高い圧縮率を得ることができる。 zopfli そのような実装の一つがzopfliである。これはとても遅いが、gzipよりも高い圧縮率を得られる。gzipで最高の圧縮率のオプション-9を指定したときと比べてみよう。 まず、テキストファイルのサンプルとしてftp.jaist.ac.jpのhttpdのアクセスログの一部を用意した。サイズは1,979,738,541バイトである。計測にはAzureのD4s v3インスタンスのUbuntu 18.04.1上で行った。結果は以下の通り。 圧縮方法 結果 圧縮率 gzip比 時
.NET Standard の HttpClientで送信時のBodyをgzip圧縮したい - 銀の光と碧い空
HttpClientでPOSTやPUTのような送信を行う場合に、Bodyで送信するコンテンツをGZip圧縮したいと思ったのですが、意外とすぐに使えるサンプルコードが見当たりませんでした。 docs.microsoft.com とりあえず動くコードは書けたので、メモしておきたいと思います。Bodyで送信するコンテンツは、抽象クラスであるHttpContentで扱うのですが、単純な文字列の場合はStringContent、ストリームの場合はStreamContentなど用意されている具象クラスを利用できることがあります。 docs.microsoft.com docs.microsoft.com が、GZip圧縮できるクラスはないようなので、自分でHttpContentを継承する必要がありそうです。主に必要なのは、SerializeToStreamAsyncで引数のStreamにGZip圧縮し
CloudFrontのコンテンツの無圧縮、圧縮(BrotliとGzip)のリクエストを混在させた場合の挙動を確認してみた | DevelopersIO
いわさです。 CloudFrontにはコンテンツを圧縮して配信する機能が備わっています。 以下の記事ではBrotliの設定方法や圧縮されていることを確認しています。 CloudFront側では本日時点でGzipとBrotliの2つの圧縮形式がサポートされていますが、一方でブラウザ毎のコンテンツ圧縮形式のサポート状況は異なっています。 CDN側でそのあたりをどのように吸収しているのか、CloudFrontを使って挙動とキャッシュ動作を確認してみました。 ※各ブラウザで何がサポートされているのかについてはこの記事では触れません。 圧縮設定 CloudFront側でコンテンツ圧縮を有効化するには２つの設定が必要です。 キャッシュビヘイビアでの「オブジェクトを自動的に圧縮」を有効化します。 キャッシュポリシーの圧縮サポートを有効化します。 デフォルトのキャッシュポリシーであればCachingOpt
HAProxy+libslzによるHTTPレスポンスのGZIP圧縮の検証 - Hateburo: kazeburo hatenablog
少し前になりますが、4/8 にさくらのクラウドの高機能ロードバランサーサービスである エンハンスドロードバランサ にレスポンスボディのGZIP圧縮機能を追加しました。 cloud-news.sakura.ad.jp エンハンスドロードバランサのコントールパネルやAPIで、GZIP圧縮を有効にすることで、手軽にWebサイトの表示にかかる時間を短くすることができますので、お試しいただければと思います。 この記事にあるとおり、エンハンスドロードバランサはソフトウェアとしてHAProxyを使っています。 qiita.com 今回、レスポンスのGZIP圧縮対応にあたり、HAProxyにlibslzという圧縮ライブラリを組み込んでおります。GZIP圧縮といえばzlibがもっとも使われると思いますが、事前に比較検証を行った上でlibslzを選択しているので、その紹介です。 ライブラリとベンチマークの環境
.htaccessファイルによるgzip圧縮は画像以外の構成ファイルを圧縮する事でWEBサイトの表示速度をアップさせる手法です。 設定すると表示速度は劇的に上がる場合があるし、表示速度が向上する事はSEO対策も有利に働きます。 mod_deflateが使えるサーバーであればサーバー側が圧縮をしてくれるが、使えない場合は自前で圧縮ファイルを用意する必要がある。 gzip圧縮とは？ gzip圧縮とはファイルサイズを小さくする圧縮方法の1つであり、gzipは「GNU zip」の略称です。 名前にzipが含まれていますが元々はUNIXというOSで独自に作られた圧縮プログラムです。 WEBサイトを構成しているhtml、JS、css、xmlなどを圧縮することで、データ量が軽くなりWEBサイトの表示速度を向上させる効果があります。 高いパフォーマンスと完璧な圧縮・復元 mod_deflateという圧縮方
bundleサイズ削減、minify、gzipでフロントエンドのパフォーマンス改善をためしてみた｜SHIFT Group 技術ブログ
はじめにこんにちは、SHIFT の開発部門に所属している Katayama です。 バックエンドでは配置する資材のサイズについて気にする事はないが、フロントエンドの場合は違う。 ブラウザの読み込み速度は利用者の快適さに直結するので、できるだけフロントエンドの資材のネットワーク転送量は少ない方がいい。 そこで今回は、以下に挙げた 3 つの方法を使って、できるだけネットワーク転送量が少なくなるようにし読み込み速度を向上させるという事をやってみた。 ①webpack-bundle-analyzerを用いて webpack で build する際に bundle サイズを小さくする ②HTML/CSS/JavaScript を縮小する（minify） ③gzip による圧縮する 以下でそれぞれの方法についてみていく（①・② については、実際にその方法を試すのは純粋な webpack ではなく、Vu
この記事は Node.js アドベントカレンダー 2019 の 23 日目です。 はじめに gzip ファイルなどの圧縮されたファイルを読み込む際、たとえば csv など圧縮率の高いファイル形式かつ大きなファイルの場合、全てをメモリに乗せ切れないことが稀にあります。 そもそも csv のカラムだけ欲しいなどの場合にデータ全体を取得するのは時間もかかるし無駄です。 そこで、 Node.js は stream を扱いやすい言語なので、これを使って簡単に解決できるため紹介します。 なお、 S3 からのデータ取得であっても createReadStream() すれば stream.Readable 型になるため、同様の手法が可能です。そもそも、この話自体がローカルよりはクラウド絡みの方が多いケースになると思いますが……。 おさらい: Node.js での stream でのファイル読み書き 例え
gzipで言語判定 - Qiita
はじめに 以前、UNIXに標準搭載されているライブラリを使って日英の言語判定をしたくなったので、gzipを使った言語判定の実験をしました。 言語判定とは 文が与えられたときにそれがどの言語で書かれているのか判定するタスクです。 他の自然言語処理タスクで使われるコーパスのクリーニングをしたり、言語によって処理を変えたりするのに有用な技術です。 gzip を使った言語判定の仕組み gzip はファイル圧縮に使われるライブラリです。そのため、言語判定タスクに使うと聞いてもピンとこないかもしれません。 gzip はファイルの圧縮に LZ法という手法を用いています。 これは辞書を用いた圧縮法で、ある文字列が繰り返し出現したとき、その文字列の代わりに辞書中の番号を出力することで元の文を短い長さで表すという仕組みです。 その仕組み上、今まで入力された文字列にないようなフレーズを多く含む文に対しては圧縮の
Wikipedia: https://ja.wikipedia.org/wiki/Deflate Deflate（デフレート）とはLZ77とハフマン符号化を組み合わせた可逆データ圧縮アルゴリズム。 deflate = 圧縮アルゴリズム（LZ77 + ハフマン符号） Golangのパッケージ: https://golang.org/pkg/compress/flate/ Wikipedia: https://ja.wikipedia.org/wiki/Zlib zlibは、データの圧縮および伸張を行うためのフリーのライブラリである。 ヘッダーやフッターなどのデータ形式はRFC 1950 (ZLIB Compressed Data Format Specification)として仕様化されている。 zlib = 圧縮ライブラリ名 兼 ヘッダ/フッタフォーマットの定義 圧縮アルゴリズムは def
標準出力をgzipしてファイルを保存している場合など、元のファイルのサイズがわからないときに、伸長して圧縮率を確認したいときがある。 gzip -l, gzip --listを使うと説明されることが多いが、gzip -lには以下のバグがあるため利用しないほうがいい。 gzip 形式では、入力サイズは 2^32 の余りで表現されるため、 --list オプション による表示では、圧縮前のファイルが 4GB 以上の場合、圧縮前のサイズや圧縮率が 正しく表示されない。 引用元: https://linuxjm.osdn.jp/html/GNU_gzip/man1/gzip.1.html 実際に伸長するとDISK容量が足りなくなるおそれがあるので、標準出力に伸長して、wc -cに流すことでバイト数を取得する。 標準出力に伸長する方法は以下の通り3つほどある。下に行くほどおすすめ。gzipではcom
「Brotliアルゴリズム」gzipに代わる高速圧縮術
どのようなサイトにおいても、スピードは重要です。高速読み込みの追求のために、さまざまな技術が利用されています。その中の一つが、サイトの機能に悪影響を与えることなく、使用するコードを最小限に抑えること。gzipでの圧縮でそれを実現することができますが、Brotliを用いた圧縮という新手法もあります。 これはGoogleが開発したアルゴリズムで、gzipを超える（あるいはそれに取って代わる）多くのメリットが豊富に詰め込まれています。今回の記事では、Brotliを用いた圧縮のスピードや効率を中心に、その技術に迫りたいと思います。 Brotliアルゴリズムを用いた圧縮について動画での解説もご用意しています。 Brotliを利用した圧縮とは何か、これがサイトで使用されているかどうかを確認する方法、そして、必要な場合に実装する方法も扱います。圧縮アルゴリズムにおけるBrotliの位置付けと、他の選択肢
gzip圧縮とはgzip（ジー・ジップ）は、データ圧縮プログラムのひとつ、およびその圧縮データのフォーマットである。「GNU zip」の略でありGNUプロジェクトによって開発・メンテナンスされている。 gzip – Wikipedia 概要はこんな感じ。要するにgzipを活用すればwebサイトのスピードが上がるということですね。 このサイトもスピードチェックをすると改善提案項目にgzipが出てきます。 前回は、次世代画像フォーマットwebPを活用して画像の読み込みスピードを上げることができました。 次世代画像フォーマットWebP(ウェッピー)を試してみた(パフォーマンス編) 次世代画像フォーマットWebP(ウェッピー)を試してみた(実装編) 今回はこのサイトでgzip圧縮を試してみたいと思います。 .htaccessでgzip圧縮を有効にするgzip圧縮を有効にするには.htaccessの
最近公開された論文 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors (Jiang et al., Findings 2023) は、gzip で圧縮したデータの長さを活用し、テキスト分類課題で BERTよりも優れたパフォーマンスを発揮すると述べています。面白そうだったので、自分でこの方法を実装して試してみました。その結果、実際に livedoor ニュースコーパス を用いたテキストのカテゴリー分類では、日本語 BERTよりも優れた結果が出ました。 どんな手法なのか やっていることはシンプルで、まずNCD(Normalized compression distance)を算出します。例では圧縮アルゴリズムに gzip を使っています。 個々のデータxとyを圧
unix使いの皆様ならば、「ちょいとしたバックアップ・レストア」の用事はすべて dd コマンドで済ませていらっしゃることかと思います： 今回は「nvmeSSD 500GB から SATA HDD」へのバックアップです (GPUマシン化する前に、プリインストールのWindowsをバックアップ) sudo dd if=/dev/nvme0n1 of=/somedrive/bkp.image ... # 途中で止めて速度チェック 347762688 bytes (348 MB, 332 MiB) copied, 21.6687 s, 16.0 MB/s
Firehose で S3 に保存したgzipファイルが正常に解凍出来ない問題の対処方法 | DevelopersIO
困っていた内容 Firehose で S3 に保存した gzip ファイルをダウンロードしたのですが、 解凍しようとするとファイル破損となり解凍できません。 原因 今回の事例では Firehose から S3 にファイルを保存する際に gzip 圧縮を行っています ※上記設定は Amazon Kinesis > Delivery streams > 対象の配信ストリームを選択 Configuration > Destination settings > Compression and encryption で確認できます。 この設定をしていた場合、 S3 に保存する際にメタデータとして Content-Encoding: gzip が付与されます このメタデータが付与されていると、ブラウザ経由でダウンロードした際に、gzip が自動で解凍（展開）されてしまう事があります。 しかし、ファイル
from fastapi import FastAPI from fastapi.middleware.gzip import GZipMiddleware app = FastAPI() app.add_middleware(GZipMiddleware, minimum_size=1000) と記述する。 概要 HTTPでフロントエンドとの通信量を削減する方法の１つとして、コンテンツを特定の圧縮方式で圧縮して通信する方法がありますが、FastAPIでgzipによる圧縮が簡単にできるのでメモしておきます。 gzipでの通信のためには、 リクエスト側がhttp headerのAccept-encoding 属性に、gzipを指定する サーバー側がgzipでの返却に対応する の両方が必要です。 How To 公式ドキュメント にあるように、ミドルウェアを挟むだけでOKです。 from fas
JavaScriptで手軽にgzip圧縮できるライブラリ使ってみた【zlib.js】 | PisukeCode - Web開発まとめ
サーバーに大きなデータを送信するとき・・・ できるだけデータ量を小さくしたい サーバーに負荷をかけたくない そういうときはクライアント側（JS側）で圧縮したいときがあります。 僕自身そういう場面があったので、 ここでは JavaScriptで gzip圧縮・展開できる zlib.js というライブラリ を使ってみました。 その忘備録。これから非サーバー側からgzip圧縮したい人の役に立つかもです。 今回は zlib.js というライブラリを導入してみた 今回使ったのは zlib.js というライブラリ このライブラリは色んな圧縮形式に対応しているようで・・・ ZLIB(RFC1950), DEFLATE(RFC1951) GZIP(RFC1952) PKZIP（ZIP） これだけの形式をシンプルなコードで圧縮・展開できるみたいです。 便利そうだったので、GitHubからダウンロードしてみま
【AWS】 CloudFrontでgzipに圧縮し、確認する方法 – Amazon Web Service(AWS)導入開発支援
はじめにこの記事ではCloudFrontでgzipに圧縮する前にAmazon S3でバケットを作成し、ファイルをアップロードしていることを前提条件として進めていきます。Amazon S3にファイルをアップロードしていない場合はアップロードを先に終えてからご覧ください。また、アップロードの際はパブリックアクセスを許可するようにしてください。 CloudFrontでディストリビューションを作成AWSにログインし、CloudFrontのコンソールを開けましょう。「Amazon CloudFront Getting Started」が表示されたら、「Create Distribution」をクリックします。 以下の画面が表示されたら、「Web」のほうの「Get Started」を押します。ちなみに「RTMP」とは音声や動画などのデータを扱うストリーミングのプロトコルになります。こちらは2020年の
Brotli and Gzip Compression for Assets and JSON API in Rails
Brotli and Gzip Compression for Assets and JSON API in Rails Updated May 26, 2020 8 minute read HTTP content compression has a significant impact on the client-side performance of a web app. In this blog post, I’ll describe different methods for compressing dynamic and static content in Ruby on Rails apps using Gzip and Brotli algorithms. We’ll start by describing what exactly is a content compres
言語判定には、ディープニューラルネットワーク（DNN）が広く使われているが、この方法は計算量が大きいことから大量のデータとリソースが必要であり、実際の利用時や最適化、新しいデータへの適用にはコストがかかるという問題が起きるそうだ。そこで、簡単で軽量かつ汎用的な代替手法がACL 2023で提案されたという。手法としてはタレコミにあるように、シンプルなコンプレッサ（gzipなど）とk近傍法を組み合わせたないようだという（ACL アンソロジー、Stephen Diehl氏のツイート）。 Patilise 曰く、 ACL 2023でk近傍法とgzipを組み合わせた言語判定モデルが発表された。軽量（大量のデータと処理能力が不要）、パラメータ調整不要でPythonスクリプトにして14行という簡素なものだったが、ほとんどのニューラルモデルと同程度または上回る精度となった。すべてのデータセットでgzipを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
nginxを用いてgzip爆弾による不正アクセスへの攻性防壁 - Qiita
ログを gzip で圧縮しているなら zstd を導入しよう - Qiita
spliceを使って高速・省メモリでGzipからZIPを作る - knqyf263's blog
Compressing JSON: gzip vs zstd – Daniel Lemire's blog
Next.js で Props をソートすると gzip 時のビルドサイズを少しだけ減らせる
Lexical Search with gzip （gzipによる語彙検索）
.htaccess（gzip圧縮系）の設定方法
Node.js で stream を使って gzip ファイル全体をメモリに乗せずに先頭一行だけを取得する - Qiita
deflate と zlib と gzip の整理 - Qiita
gzip圧縮率を確認する方法 - grep Tips *
Webサイトの高速化「gzip圧縮」を試してみた｜日々、アップデート
gzip + kNN のテキスト分類で BERT 超え論文 "Low-Resource" Text Classification: A Parameter-Free Classification Method with Compressors を実装し試す - A Day in the Life
「dd | gzip」 はそこまでだ！「dd | pigz」にするだけで20倍速くなった件 - Qiita
FastAPI で レスポンスをgzip圧縮する - Qiita
gzipを使用した言語判定モデル、精度がほとんどのニューラルモデルを上回る | スラド
b.hatena.ne.jp
akiba-pc.watch.impress.co.jp
www.takarakuji-official.jp
chinatsu.nk.awe.jp
www.sunday-webry.com
akiba-pc.watch.impress.co.jp