写真を限界までJPEG圧縮すると見えてくる世界
1983年徳島県生まれ。大阪在住。散歩が趣味の組込エンジニア。エアコンの配管や室外機のある風景など、普段着の街を見るのが好き。日常的すぎて誰も気にしないようなモノに気付いていきたい。（動画インタビュー） 前の記事：「神は細部に宿る」コレクション ＞ 個人サイト NEKOPLA Tumblr 限界までJPEG圧縮したい ここに何の変哲もない写真がある まったく同じ写真でも、JPEGの圧縮率を高めるとこうなる。一枚目の写真と比較して、容量は約2/3にまで圧縮できた。スマホで見ると違いが分からないかもしれないので拡大してみると、 汚いノイズが目立っている JPEGという画像圧縮の規格がある。人間の目には感じにくい情報を削ることで、画質をほとんど変えずにファイル容量を小さくする技術である。 当然ながら、画質と容量はトレードオフの関係にある。高画質を維持すればするほど容量は減らないし、逆に画質劣化を
はじめに こんにちは。事業推進部でOffensive Teamを担当する永井です。 先日のApple発表会では新型のiPhoneやApple Watchなど心躍る製品が色々と発表されましたね。筆者は特に新型iPad miniが心に刺さっています。 さて、今回はApple関連の話として「macOSの暗号化zipファイルはパスワード無しで解凍できる」というネタについて書いていきます。 解凍できる条件 何を言っているんだと思われるかもしれませんが、macOSで作られた暗号化zipファイルは以下の2つの条件を満たす場合にパスワード無しで容易に解凍が可能です。 zipの暗号化方式がzipcryptoである (通常の暗号化zipファイルは基本的にzipcryptoが利用されています) zip内のいずれかのディレクトリの中身が.DS_Storeファイルおよび何らかのファイル1つである このうち1.は基本
朝日新聞社が指定した字数や割合に長文を要約する「長文要約生成API」を開発。評価用途に限り、無償で利用できる。会議の議事録や、採用活動で受け付けるエントリーシートの速読に役立てられるという。
動画の放送や配信の中核技術である映像符号化方式（動画コーデック）。国際機関で標準化された“正統”な現行規格が、主役から引きずり降ろされる異例の展開になっている。 米グーグル（Google）や米アップル（Apple）、米アマゾン・ドット・コム（Amazon.com）などが推す“異端”の新規格が、「事実上の標準（デファクトスタンダード）」として主役に立つ。世界で急伸する動画配信サービスで、米国勢の台頭を勢いづかせる。 新規格とは、米国の非営利団体アライアンス・フォー・オープン・メディア（AOM）が2018年に公開した「AOMedia Video 1（AV1）」である（図1）。グーグルやアップルなど多くの大手IT企業が参画する。 最大の特徴は、特許料を無料にする「ロイヤルティーフリー」を掲げることだ。映像関連事業を手掛ける費用を大きく削減できる。現行の標準規格である「H.265/HEVC（Hig
・背景 サムライズムでは創業より一貫して生産性を向上するソリューションを提供しております。またお客様の生産性を向上させるだけでなく、サムライズム自身も生産性を向上してお客様の迅速にお応え出来るよう、最適化された販売管理システムを内製しており、ご依頼より最短で1分ほどで見積の作成や商品の納品を行える体制を整えております。 業務の生産性を向上する上で課題となっているのが注文書などの帳票をzipファイルに圧縮するという日本の習慣です。添付ファイルのzip圧縮は「文字コードやディレクトリ構成の関係で展開に失敗する」、「別送のパスワードが送られてこない・遅延する」、「パスワードがかかっておりウイルススキャンが行えない」など悪影響が多い一方でセキュア化にさほど貢献しません。 また「パスワードは本日の日付です」「パスワードは弊社/貴社の電話番号下4桁です(そして電話番号は署名欄に記載されている)」などと
同じ地点から焦点距離28ミリの広角レンズで撮影した写真（左）と焦点距離300ミリの望遠レンズで撮影した写真（右）。左は人々の間に空間があるのが分かる。右は圧縮効果で遠近感が弱まり、通行人同士の距離が分かりにくいが、マスクの着用率や表情はよく見える＝東京・原宿で2021年1月21日午後2時49分、丸山博撮影 新型コロナウイルス感染拡大後、人混みの写真が報じられるたびに「圧縮効果」という単語が飛び交うようになった。大勢の人を遠くから望遠レンズで撮影すると、近くで撮った時より密集しているように見える効果のことだ。中には「演出」「捏造（ねつぞう）」などの批判もある。写っているものは厳然たる事実だが、同じ被写体でも撮り方で見え方は違ってくる。コロナ禍で人の密集度をどう表現するか、カメラマンの私はいつも悩みながら撮影している。報道写真が伝える事実とは何かを考えたい。【丸山博/統合デジタル取材センター】
グーグルが開発した画像圧縮ツールSquoosh。フロント開発向けにNode.jsで扱う方法まとめ 『Squooshスクーシュ』というGoogleが開発した画像圧縮ウェブアプリがあります。ブラウザで変換結果を見ながら圧縮設定ができるので、画像圧縮の難しい知識を持たない方でも使いやすいことが特徴です。圧縮だけでなく、WebPなどの各種フォーマットへの変換・リサイズといったこともできる便利ツールです。 このSquooshをNode.jsで扱える『libSquoosh』が存在します。libSquooshは大量の画像を一括で圧縮、WebPへの変換、リサイズなどの処理をこれ1つで完結できるのがポイントです。昨今のウェブはページの読み込み時間が重視される傾向があります。画像のファイルサイズは読み込み時間に大きく影響するため、画像圧縮は重要なテクニックです。libSquooshをwebpack・Viteと
ウェブサイトの表示スピードはサイトの健全性における重要な観点の一つです。Googleが提唱するCore Web Vitalsコア・ウェブ・バイタルズと呼ばれる指標の中にもサイト表示スピードに関する項目があり、表示されるまでの時間が単なるユーザー体験だけでなく、SEOでも無視できない存在です。表示スピード低下の要因はネットワークやサーバーサイド、そしてフロントエンドまで広範囲におよびます。本記事ではその中でも画像の読み込みについて改善できるテクニックを改善前と改善後を比べながら紹介します。 改善前サンプルを別ウインドウで開く 改善後サンプルを別ウインドウで開く 画像読み込みBefore / Afeter 上図はLighthouseによるチェックの結果です。Lighthouseはウェブサイト検査ツールで、ウェブページのパフォーマンス、アクセシビリティ、SEOなどの状態を計測できます。Googl
PNGファイル爆発しろ！
まえがき Web上で広く利用されるPNG(Portable Network Graphics)フォーマットは、デジタル画像を変化させずに小さいデータサイズへ変換する圧縮技術の一種です。PNGフォーマットはオリジナル画像を完全復元可能な可逆(lossless)圧縮ですから、JPEGフォーマットのように画像を歪めてしまう非可逆(lossy)圧縮ほどは小さくできません。それでもオリジナルのデジタル画像データの半分程度まではサイズ削減可能な画像圧縮アルゴリズムと言われています。[1] そげぶ いいぜ てめえが何でも思い通りに圧縮出来るってなら まずはそのふざけた幻想をぶち壊す!! （スペース都合によりAA省略） 本記事では、PNGフォーマットを画像データ圧縮(compress)用途で利用するのではなく、オリジナル画像データよりも遥かに巨大なPNGファイル を生成します。 PNGフォーマットでは任意
広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ
選定作業にはAOMが公開しているソフトウェアエンコーダaomを使用し、改造によってツールを削減したときの映像品質を比較しました。 映像品質は一般的にビットレートと客観/主観画質のバランスで表されます。 客観画質とは計算によって数値化した画質のことで、代表的な手法としてはPSNRやSSIMがあります。 主観画質とは人の目で映像を評価した画質のことです。 今回は、客観画質としてPSNRを用いた指標(RD性能)を用い、映像品質を比較しました。 PSNRには"30dBを下回ると低品質である"といった基準はありますが、人の目で見たときの評価と必ずしも一致するわけではありません。 そこで、主観画質の評価も並行して実施し、多角的に映像品質低下を防止しました。 選定結果 まず、Superblockサイズを64X64と128X128とで比較しました。 その結果、テストケースのうち約75％でRD性能に変化がな
by Tomas Sobek 数十KBのZIPファイルに見えて解凍すると膨大なファイル容量を食う「ZIP爆弾(高圧縮ファイル爆弾)」は、ZIPファイルの中にZIPファイルを格納し、内側のZIPファイルの中にさらにZIPファイルが……という入れ子構造を用いることで圧縮アルゴリズムの限界をうまく回避していますが、それゆえに多くのアンチウイルスソフトで対策されています。この弱点を乗り越えた「非再帰的ZIP爆弾」は、展開後のサイズこそ高効率で作られた再帰的ZIP爆弾にかなわないものの、わずか10MBから281TBへ2800万倍に膨らみます。 A better zip bomb https://www.bamsoftware.com/hacks/zipbomb/ ZIPの圧縮で一般的に用いられているアルゴリズムは「Deflate(デフレート)」と呼ばれるもので、圧縮・展開速度の速さが特徴的です。圧縮
Fraunhofer Heinrich Hertz Instituteが、Windows/macOS/Android/iOSといった各種OSでデフォルトでサポートされている動画圧縮規格「H.265/HEVC」の次世代規格となる「H.266/VVC」を発表しました。「H.266/VVC」はデータの圧縮効率を改善し、約50％ビットレートを削減することが可能となります。 Fraunhofer Heinrich Hertz Institute HHI https://newsletter.fraunhofer.de/-viewonline2/17386/465/11/14SHcBTt/V44RELLZBp/1 記事作成時点で、インターネットトラフィックの80％を占めているのが圧縮されたムービーデータです。Fraunhofer Heinrich Hertz Instituteが発表した新しい動画圧縮
Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
そろそろWebPに切り替えよう。変換方法や対応ブラウザ、使い方を解説！ | Web Design Trends
WebP（ウェッピー）は、Googleが開発している次世代画像フォーマットです。PNGやJPEGと比べてファイルサイズを抑えることができ、トラフィックの削減やページ表示速度の向上を実現することができます。 今回は、WebP（ウェッピー）の基本と、メリットやデメリット、変換方法、対応ブラウザなどをご紹介したいと思います。 WebP（ウェッピー）とは？ WebP（ウェッピー）は、Googleが開発している次世代画像フォーマットで、拡張子は「.webp」です。 WebPは、JPEGやPNGと比べ、同程度の画質の画像をより小さなファイルサイズで保存することができます。Googleの発表では、PNGよりも26%、JPEGよりも25%〜34％程度ファイルサイズを抑えることができると言われています。 また、WebPは背景透過（アルファチャンネル）や、アニメーションにも対応しています。つまり、JPEGのよ
データ圧縮フォーマットのひとつであるZIP(ZIP圧縮)や、電子文書フォーマットのPDF、音声ファイルフォーマットのMP3の基礎となったデータ圧縮アルゴリズムのLZ77やLZ78などを開発したイスラエルのコンピューターサイエンティストであるジェイコブ・ジヴ氏が亡くなりました。91歳でした。 Israeli computer pioneer passes away just weeks after famed research partner https://www.ynetnews.com/business/article/bj2k2g0x3 Ziv and Lempel co-invented the famous Lempel-Ziv algorithm that is the basis of ZIP files. Prof. Abraham Lempel died 7 weeks
2021年2月25日、Googleが3kbpsという低いビットレートでも、元音声と遜色ないほどの音質を維持できるコーデック「Lyra」を開発したと発表しました。 Google AI Blog: Lyra: A New Very Low-Bitrate Codec for Speech Compression https://ai.googleblog.com/2021/02/lyra-new-very-low-bitrate-codec-for.html ほとんどのコーデックでは音声信号をサンプルごとに圧縮して送信することで高音質を実現するモデルを使用していますが、このモデルでは低いビットレートで元の音質を再現することができません。しかしGoogleが新しく開発したモデルは、最小限のデータを使用して音声を再生成できるようになっているとのこと。 低いビットレートでも元の音質を再現できるのは、
「このくらい書かないと何言ってるかわからんぞ」JPEGとPNG画像の可逆性による違い、解説画像の解説画像が必要なくらい難しい問題
つだしん @tsudashin jpegは不可逆圧縮でpngは可逆圧縮 保存を繰り返す毎に劣化するのがjpeg 解像度低く保存したものは元に戻りません という意味です ちなみにPNGは透過に対応、jpegは非対応 「PNGは色が少ない」と言ってる人いるが、jpegとPNG-24とも1670万色で同じで、ただPNGのデータ量はバカデカい 2023-08-19 10:02:54 つだしん @tsudashin 補足 jpegが一概に悪いわけでなくpng-24は機能的ゆえに重いので『PNGの恩恵がいらないなら基本はJPG』くらいで捉えるのがいい PNGの恩恵を受けつつ軽くしたい時は『PNG-8』も良い。PNG-8はたったの256色なので超軽い。(PNG-24は1678万色) ただし繊細なグラフィックには不向き(256色はGIFと同じ) 2023-08-19 13:01:51
便利なツールが登場！ 画像をWebPとAVIFに変換・最適化、SVG, PNG, JPG, GIF画像の軽量化・最適化ができるオンラインツール -Optimize Images
次世代の画像フォーマットとして注目されているWebPとAVIF、Webサイトやアプリでよく使用されるSVG, PNG, JPG, GIFの変換・軽量化・最適化ができるオンラインツールを紹介します。 IEのサポートがなくなると、WebPが画像フォーマットの主流になりそうですね。 Optimize Images Optimize Imagesは、画像（SVG, PNG, JPG, GIF）の最適化と圧縮、画像の新しいフォーマット（WebPやAVIF）への変換と最適化が簡単にできるオンラインツールです。 WebPとAVIFは高い圧縮率を備えたフォーマットです。 WebPは簡単に言うとPNG, JPG, GIFの良いとこ取りのフォーマットで、24ビットのフルカラーをサポートしています。高画質の透過PNGのサイズが大きくなってしまうことやGIFアニメーションで色数が少ない悩みも解決します。IE以外の
2022年8月に一般公開されたStable Diffusionは、入力した言葉に従って画像を自動で生成してくれるAIです。そんなStable Diffusionを画像生成AIだけではなく強力な非可逆画像圧縮コーデックとして使う方法について、ソフトウェアエンジニアのマシュー・ビュールマン氏が解説しています。 Stable Diffusion based Image Compression | by Matthias Bühlmann | Sep, 2022 | Medium https://matthias-buehlmann.medium.com/stable-diffusion-based-image-compresssion-6f1f0a399202 実際に以下の画像はすべて512×512ピクセルに圧縮した画像で、サンフランシスコ市街を撮影したもの。1枚目がJPEG形式、2枚目がWeb
46MBが4.5PBに膨れ上がる危険なZIP爆弾に注意
Fossbytesは7月13日(米国時間)、「This Dangerous 'Zip Bomb' Can Explode 46MB File Into 4.5 Petabytes」が、「Zip Bomb (ZIP爆弾)」と呼ばれる高圧縮ファイル爆弾に新たな方法が発見されたと伝えた。この方法を使うと、46MBのZIPファイルを展開することで4.5PBのサイズに膨張させることが可能とされており、注意が必要。 記事はDavid Fifield氏が公開した次のドキュメントがベースになっている。 A better zip bomb A better zip bomb 説明によれば、ZIPコンテナ内部でファイルを重ね合わせることで高い圧縮率を実現したという。従来は再帰的な方法を使うことで高圧縮を実現していたが、今回発見された方法は再帰的な方法は使っておらず、1回の解凍で完全に展開されると説明がある。こ
はじめに zstd コマンド(zstdless, zstdcat, unzstd なども)は gzip にも対応しています。特にデコードは拡張子を見て自動で gzip と zstd を切り替えてくれるので、 gzip 圧縮されたログと zstd 圧縮されたログが混在している環境でも透過的に扱うことができます。 なので gzip から zstd への切り替えは次のように段階的に進めることができます。 zstd コマンドツール群のインストール 圧縮されたログを扱うときに zstd を使い始める 圧縮フォーマットを zstd に切り替える 性能比較 Debian 9.3 で gzip 1.6 (aptでインストールしたもの) と zstd (1.4.0) を比べてみます。 対象となるファイルは ltsv でゴチャゴチャとアプリの情報を混ぜた重めの apache のアクセスログです。 (5,367
九六槻コウ @KUROtsuki__KOU 【拡散希望】 僕のTwitterアカウントが乗っ取られました。 直前に覚えのないメールアドレス変更がありましたが、2段階認証も設定しており、経緯は現在Twitter社に確認中です。 現在乗っ取ったアカウントにて下記の固定ツイートをしているようです。 絶対にクリックしないでください！ pic.twitter.com/b2exT4i4kP 2021-12-15 04:27:22 九六槻コウ @KUROtsuki__KOU 簡単な経緯の推測 ・海外からイラストの依頼あり ・資料をrar形式(圧縮ファイルの一種)で送られてきて、ダウンロード→解凍 ・約1時間後、Twitterのメールアドレス変更の通知が来る ・念の為再度2段階認証を設定し直し ・直後乗っ取り＆メタマスク内も全部抜かれる 恐らくPCがやられた可能性 2021-12-15 05:07:17
はじめに こんにちは。事業推進部でOffensive Teamを担当する永井です。 今回はアドベントカレンダーの11日目として、前回投稿した「macOSの暗号化zipファイルはパスワードなしで解凍できる」という記事に寄せられたコメントのうち、特筆すべきものをピックアップして回答していきます。 前回の記事を読んでいない方や、もう覚えてないという方は是非前回の記事を見てから続きを読んでいただければと思います。 Q. 正解するまでbkcrackを回さなくてもzip内のCRC32値と比較すれば良いのでは？ はい、その通りです。 筆者が前回の記事を書いている時には完全に失念していましたが、zip内にはファイル破損を検出するためにCRC32形式のハッシュ値が含まれています。そのため、bkcrackを正解パターンを引くまで都度回さなくても簡単に正解の.DS_Storeを見つけ出すことができます。 実際に
3つの要点 ✔️ 低解像から高解像へ変換 ✔️ 時間的に一貫したフレームを生成するために双方向損失関数を採用 ✔️ 超解像度へ変換するTecoGANを提案 Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation Temporally Coherent GANs for Video Super-Resolution (TecoGAN) written by Mengyu Chu, You Xie, Jonas Mayer, Laura Leal-Taixé, Nils Thuerey (Submitted on 23 Nov 2018 (v1), last revised 21 May 2020 (this version, v4)) Comments: Published by arXi
Microsoftのクラウドサービスがパスワードで保護されたZIPアーカイブのスキャンを開始 | ソフトアンテナ
MicrosoftのクラウドサービスOneDriveやSharePointなどで、ユーザーがアップロードしたパスワードで保護されたZIPファイルのスキャンが行われていると報じられています(gHacks)。 従来、マルウェアを配布するためには、ZIPやRARなどのアーカイブファイルが使用されてきましたが、現在ほんとどのセキュリティソフトウェアはアーカイブファイルのスキャンに対応し、攻撃に使用されるアーカイブファイルはパスワードで保護されるようになっています。 セキュリティ研究者のAndrew Brandt氏は月曜日、MicrosoftがSharePoint上でパスワードで保護されたZIPアーカイブのスキャンを開始したことを明らかにしました。Brandt氏は、Microsoftが、パスワードで保護されたZIPアーカイブに含まれる、マルウェアサンプルのいくつかをマルウェアと判定し始めたことに気が
この記事は何？ Googleが開発した画像圧縮アプリ「Squoosh」を紹介する記事です。 Squooshは以下のことが出来ます。 ・ブラウザ上で簡単に画像の圧縮やリサイズが出来る ・CLIでも画像の圧縮やリサイズが出来る 圧縮が必要な理由は何か？Webサイトを作成する時は、画像を利用することはなかなか避けられません。そして画像サイズが大きい場合は、Webページのパフォーマンス低下を招きます。そこで、画像を圧縮しなるべく見た目は劣化させずに画像の容量を下げる方法の一つが「Squoosh」になります。 この記事では、「Squoosh」の使用方法や感想について紹介しようと思います。 圧縮するには、２種類の方法があるので、それぞれ紹介します。 👉 ブラウザ上から画像を圧縮 👉 CLI上から画像を圧縮 ※スクリーンショット：https://squoosh.app/ より ブラウザ上から画像を圧
Googleが2021年2月に発表した、3kbpsという超低ビットレートでも元音声と遜色ないほどの音質を維持できる新コーデック「Lyra」をオープンソース化しました。 ???? Lyra is now being open sourced. This release allows developers to power their communications apps and take Lyra in powerful new directions by providing the tools needed to encode and decode audio. Full details ↓ https://t.co/ZDIaXTVw8c— Google Open Source (@GoogleOSS) Lyra - enabling voice calls for the next b
年イチでちょっとしたブラウザゲームを作ってます（→ 去年）。今年はそこそこ遊べる可愛いアクションゲームを4KB以内で作ってみました。 🎉宣伝させてください！ 🐱今年も無事、猫の日ゲームができました！https://t.co/XnDD8AXx4k 今年は可愛さはそのまま、限界までコードを削って4KBにおさめました。PCの方はソース表示して見てみてね pic.twitter.com/j0QqH6iSSn — ゆき (@yuneco) February 20, 2022 作ったもの：ブラウザで動く4KBのゆるかわアクション URL： https://yuneco.github.io/mezashi-4kb/ ソース： https://github.com/yuneco/mezashi-4kb つまりどういう...コト？ index.htmlという名前のファイルを作って下のコードをコピペする
QOI(Quite OK Image) format 2021年11月にDominic Szablewski氏(@phoboslab)の手による新しいロスレス画像圧縮「QOI(Quite OK Image) format」がアナウンスされました。 C言語のヘッダオンリー・ライブラリとしてわずか300行たらずで実装され、PNGフォーマットに近いデータ圧縮性能でありながら、20～50倍のエンコード速度、3～4倍のデコード速度を実現しています（作者自身によるアナウンス記事より）。 アナウンス記事: Lossless Image Compression in O(n) Time ソースコード: GitHub phoboslab/qoi ベンチマーク結果: QOI Benchmark Result この記事ではQOIフォーマットに関する個人的評価と、その画像圧縮アルゴリズムをざっくりと解説します。
転置インデックスの圧縮技法
転置インデックスは、検索エンジンの実装において、中心的な役割を果たすデータ構造である。 転置インデックスのデータ構造とアルゴリズムは、クエリ処理アルゴリズムとともに、検索エンジンの性能に直結する。とくに大規模な検索エンジンにおいては、キャッシュ効率を高めてクエリ処理を高速化するために、転置インデックスの圧縮は必要不可欠となっている。 この記事では、転置インデックス、とくにポスティングリストの圧縮について、近年の手法を簡単にまとめる。 目次 転置インデックスの基本 転置インデックスのデータ構造と特性 転置インデックスのアクセスパターン 近年のインデックス圧縮技法 Variable-Byte Family VByte Varint-GB Varint-G8IU Masked-VByte Stream-VByte Opt-VByte Simple Family Simple9 Simple16
パスワードやアクセスキーなどの重要なデータは「ハッシュ関数」で一方向の変換を行うことで、漏えいの被害を最小限に抑えることができます。しかし、パスワードとハッシュ値の組み合わせを記録したレインボーテーブルによって、ハッシュ値からパスワードを解析される攻撃を受ける危険性もあります。そんなレインボーテーブルの仕組みについて、ソフトウェアエンジニアのKestas "Chris" Kuliukas氏が図解しています。 How Rainbow Tables work http://kestas.kuliukas.com/RainbowTables/ ハッシュ関数は文字列を別の文字列に変換することができる関数で、変換前の文字列から変換後の文字列を計算することはできますが、変換後の文字列から変換前の文字列を計算することはできません。変換前の文字列は「平文(Plaintexts)」、変換後の文字列は「ハッシ
富士通グループの株式会社富士通研究所は11月16日、超高圧縮した映像からでも高精度に映像の内容を認識できる映像圧縮技術を開発したと発表。 具体的には、同社は独自開発の高次元データ解析技術「DeepTwin（ディープツイン）」を深層特徴量の圧縮に応用し、画像認識精度を低下させずに、従来の画像圧縮方式の1つである「H.265」による映像圧縮と人工知能（AI）を組み合わせた一般的な方式と比較して、100倍以上の圧縮率を達成可能な映像圧縮技術を開発したという。 近年、ディープラーニング（深層学習）による画像認識の飛躍的な性能向上によって、映像から情報を抽出する画像認識AIソリューションが注目され、AI認識に特化した映像圧縮技術の開発が活発化している。とくに、監視・確認作業などをAIによって自動化する場合には画像を復元せずに、AIが画像認識するために必要な深層特徴量のみを圧縮・伝送する技術が注目され
先日朝日新聞社によって長文要約APIがリリースされました。要約をAPIで取得できるという点が面白いと感じたので、このブログ（blog.3qe.us）の記事を閲覧したときに自動的に要約を見られるような仕組みを作ってみようと思い、1週間ちょっとかかってしまいましたが動くものができたので紹介します。 www.itmedia.co.jp 記事冒頭に要約コーナーを出現させる この仕組みによって、記事の冒頭に要約コーナーが勝手に出現して要約を表示します。 こんな感じで要約が表示されます いくつかの記事では既に生成ができていますが、API自体は1日に20回までの制限があるので、全ての記事にはまだ行き渡っていません。 まだ要約が生成されていない記事にはpreparing abstractという文言が表示されます。 キューに入った状態 句読点の問題かちょっと要約が怪しいところもありますが、おおむね正しい要約
超高速シリアライズフォーマット「DLHN」
新しいシリアライズフォーマットDLHNをリリースしました。 DLHNは高速でデータサイズが小さいバイナリ形式のシリアライズフォーマットです。 DLHNの発音は"Dullahan"と同じです。 公式サイトは https://dlhn.org 実装は https://github.com/otake84/dlhn イラストは @kira2beat さんに描いていただきました。 特徴DLHNはプログラミング言語やプラットフォームに依存しないバイナリ形式のシリアライズフォーマットで、JSON, CSV, MessagePack, Protocol Buffersなどから影響を受けています。 シリアライズとデシリアライズが高速で、データサイズが小さく、Schema定義ファイルが不要でストリーム処理にも対応しています。 これを聞くとMessagePackと同じように感じるかもしれませんが、実際のデータ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
macOSの暗号化zipファイルはパスワード無しで解凍できる - NFLabs. エンジニアブログ
朝日新聞社、長文を要約するAPIを無償公開 500字→200字に圧縮、重要事項の自動抽出も
沈むH.265、グーグル動画仕様AV1が主役へ アップル採用で加速か
zipファイルをお送り頂いた場合の手数料について | 株式会社サムライズム
報道は「密」を演出したのか カメラマンから見た「圧縮効果」批判と撮る側の悩み | 毎日新聞
グーグルが開発した画像圧縮ツールSquoosh。フロント開発向けにNode.jsで扱う方法まとめ - ICS MEDIA
1ミリ秒でも早く届けたい! HTMLで画像読込を高速化するために取り組んでいること - ICS MEDIA
総務省が「次世代地デジ放送」仕様策定。4K/HDR/22.2ch対応へ
圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
アドビとGoogleが連携、ブラウザでPDF変換・圧縮できる「.new」
AV1リアルタイムハードウェアエンコーダを開発しました - dwango on GitHub
「非再帰的ZIP爆弾」は10MBのファイルが281TBに膨らむ
「H.265/HEVC」と同じ画質でファイルサイズを50％削減できる次世代動画圧縮規格「H.266/VVC」が登場
【訃報】ZIP圧縮やPNG・PDFなどファイルフォーマットの基礎を作ったジェイコブ・ジヴが死去
3kbpsという低いビットレートでも高音質を実現するコーデック「Lyra」をGoogleが開発
画像生成AI「Stable Diffusion」が実はかなり優秀な画像圧縮を実現できることが判明
Windows 11、7-ZipやRARをネイティブサポートへ
ログを gzip で圧縮しているなら zstd を導入しよう - Qiita
フリーの解凍・圧縮ソフト「7-Zip」がVHDX形式仮想ディスクファイルの抽出に対応／仮想マシンからファイル・フォルダーを抜き出せる
KDDI、世界初「H.266/VVC」4Kリアルタイムエンコーダ開発
「パスワード付き圧縮ファイルは詐欺だと思って」海外からの仕事依頼でファイルをダウンロードしたらTwitterを乗っ取られた
macOSの暗号化zipの話の続き - NFLabs. エンジニアブログ
低解像度ビデオもすぐに高解像度に変換できる超解像アルゴリズムTecoGANがすごい
Google発の画像圧縮ツール「Squoosh」を使ってみた
Googleが3kbpsの超低ビットレートでも高音質を実現するコーデック「Lyra」をオープンソース化
4KBのJavaScriptだけで動く可愛いアクションゲームを作ったのでソースと解説 - Qiita
ロスレス画像圧縮: QOI(Quite OK Image) format
パスワード解析などに使われる「レインボーテーブル」の仕組みとは？
富士通、一般的な方式の100倍以上の圧縮率を誇る映像圧縮技術を開発 | Ledge.ai
朝日新聞社の長文要約生成APIを使ってブログの要約を自動生成する仕組みを構築した - Lambdaカクテル
app.sakura.ne.jp
youichirou.dt.weblog.vc
newspicks.com
oriental-cnx.com
app.sakura.ne.jp
piyo-piyo-piyo.com