圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ
【打倒！阿部寛のサイト】高校生が本気でサイト読み込み速度の最適化に取り組んでみた - Qiita
さっそくですが、皆さん、阿部寛さんのサイトをご存知ですか？ エンジニア界隈の中では、ページ読み込みが早すぎると定番のサイトです。 でも、ほぼHTMLのサイトだし、まあ早いのは当たり前。。 うちのサイトでページ読み込みをここまで早くするのは無理。 なんて思っていませんか？まだ最適化のためにできることがあるかもしれません。 この記事では、阿部寛さんのサイトを目指して、高校生が本気でサイトの読み込み速度を上げるためにやった施策を公開します。 今回最適化したサイト 今回、サイトの読み込み速度を爆速化したのはこちら。 静的サイトジェネレータのJekyllを使用して開発したサイトです。 子ども向けプログラミング学習サイト「メクルン」 https://mekurun.com/ GitHubレポジトリ(良ければFork、Starをぜひ) https://github.com/Mekurun/mekurun
IPv6がIPv4よりも速い理由:Geekなぺーじ
北米、及びカリブと北大西洋地域のRIR(Reigional Internet Registry)であるARIN(American Registry for Internet Numbers)のブログで、「Why is IPv6 faster? (なぜIPv6の方が速いのか）」という記事が公開されています。この記事に関連する内容は、NANOG 76で「Prisoner of IPv4(IPv4の囚人)」というタイトルで発表されています（動画58分ごろからがPrisoner of IPv4です）。 ARINの記事では、計測によるとIPv6を利用した方がIPv4よりもRTT(Round Trip Time)が短くなる傾向があるとしています。さらに、それによってWebサイトなどの表示速度が上昇することでSEOとしての効果も期待できるので、Googleによる検索エンジンでの順位が上がると書かれていま
第55回 Perlコードの高速化―文字列処理の時間短縮とデータ構造の効率化（2） | gihyo.jp
前回の（1）はこちらから。 文字列 まず紹介するのは文字列処理です。 文字列処理には、Perlの武器である正規表現が欠かせません。正規表現の記述ルールが手に馴染んでくると、文字列の照合や取り出し、書き換えにはまず正規表現を使うでしょう。しかし、正規表現で書いた処理には、組込み関数や演算子を使って書き換えられるものがいくつかあります。そして、多くの場合では関数や演算子を使った処理のほうが高速です。 本節では、正規表現を使った処理を関数や演算子で置き換える例を紹介します。 特定文字の削除にはy///を使う 不要な文字や、行末の改行コード（\n）、タブ文字（\t）などを空白文字に置き換える処理（削除）は、頻繁に行うものでしょう。特定文字を削除するときに最も使うのが置換演算子です。 たとえばメールアドレスは<neko@nyaan.jp>のように<と>で囲まれた形式で現れることがあります。SMT
損保料率機構がCOBOL集約推進 DBからCSVに移行しコスト削減
損害保険料率算出機構（以下、損保料率機構）がCOBOLシステムのレガシーマイグレーションに取り組んでいる。OSをWindowsに移行し、COBOL資産はあえて残すことを選択した。 損保料率機構は、2018年2月からレガシーマイグレーションに取り組んでいる。主な目的は、処理性能の向上と保守コストの削減だ。同機構の旧システムには、1000本以上の主にCOBOLのプログラムが存在。SQLでデータベース（DB）のDB2にアクセスしてデータの入出力を行い、保険料率を分析していた。 ところが蓄積するデータ量の増加や分析に必要なデータ量が増えたことで、旧システムの処理速度の遅さが課題になった。「分析担当者がデータを要求してから取得できるまで1日以上かかることもあった」（情報システム部の江崎新システム開発グループリーダー）という。さらにハードウエアの保守コストの高さも問題になっていた。 そこで同機構は、U
なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん
そもそも既存はどんなロジック？ RDBなんだからWhere句使ったら？ なぜファイルにすると速くなるのか？ 並列化と分散処理による高速化の可能性 COBOL使う必要あったの？ Javaとかじゃダメだったの？ まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料会員じゃないと見れないのだけど事例としては以下みたい。 リソース - ユーザー事例 - COBOL製品 ユーザー事例 : マイクロフォーカス さて、この記事の驚きポイントは「１億レコードくらいのDB処理をRDBからCOBOL + CSVに変更してUnixサーバからWindowsサーバに変える事で性能を維持しつつコストを1/5くらいにした」という事でしょう。 「せっかく7割もあったSQLを全部COBOLに変えるとか時代に逆行しすぎ！」
グーグル、「Chrome」の“遅くならないモード”をテスト中
「Chrome」が将来、「Never-Slow Mode」（遅くならないモード）という新機能を搭載するかもしれない。重いウェブページを刈り込んで、高速な描画を維持するというものだ。 オープンソースプロジェクト「Chromium」で進行中の取り組みにおいて、このプロトタイプの機能が説明されている。Never-Slow Modeを有効にすると、「メインスレッドをクリーンに保つ意図で、インタラクションごとのバジェットを強制する」という。 Never-Slow Modeは、設計文書が公開されているわけではない。しかし、容量の大きなスクリプトを伴うウェブページを同機能でスピードアップさせる仕組みの概略を、機能のオーナーであるChrome開発者のAlex Russell氏が記している。 Russell氏は次のように説明している。「大きなスクリプトのブロック、特定のリソースタイプ（スクリプト、フォント、
たった一行で重いスクロールが軽快に！will-change属性を付けるとFPSが上がる理由 - Qiita
HTMLやCSSのパフォーマンスチューニングを皆さん普段意識されているでしょうか？ フロントエンドはJavaScriptの進化と共にアプリケーションが年々複雑化してきたこともあり、パフォーマンスチューニングのトピックを目にする機会が増えました。 しかしHTMLやCSSも同様にレンダリングの仕組みを少し知り、それに応じた実装することでパフォーマンスを大きく上げることも可能です。 今回は最もシンプルかつ分かりやすい事例として、will-changeプロパティについて紹介したいと思います。 サンプルを使ってFPSを実際に測定してみる 今回はサンプルとして、TwitterのツイートにあたるHTML構造と同じものを4000個縦に並べ、高さ400pxでスクロールできる領域を用意し、スクロール時のFPS(Frame Per Second)を測定してみました。 // この実装は実質たった3行！ const
macOS 10.13 High Sierraで「.DS_Store」ファイルとSMB署名の設定を変更し、SMBファイル共有のブラウジングを高速化する方法。
macOS 10.13 High Sierraで「.DS_Store」ファイルとSMB署名の設定を見直して、SMBファイル共有されたファイルのブラウジングを高速化する方法の覚え書きです。詳細は以下から。 AppleはmacOS 10.12 SierraでFinderに表示するファイルのタグや位置を設定しておく「.DS_Store」をFinderに表示しない仕様に変更しましたが、macOS 10.13 High SierraではAPFSの導入に伴いSMB共有プロトコルとの親和性が向上[1, 2]したため、 SMBファイル共有表示時に「.DS_Store」ファイルの作成を停止/読み込みを一時的に停止する、あるいはSMB署名を無効にすることでSMBファイル共有のブラウジングを高速に行うことが出来るそうです。 .DS_Dstoreの設定を変更 Appleがシステム管理者向けに公開したサポートドキュ
毎秒2000Requestを捌くPerl製CMSの内部構造（Debianサーバ1台にて）
圧倒的な速度で動作するadiaryの仕組みを解説します。勉強会等でスライド発表の要望がありましたらご連絡ください。
Kazuho's Weblog: ウェブページの描画 (first-paint) までの時間を測定するツールを作った件、もしくはHTTP2時代のパフォーマンスチューニングの話
ウェブページの描画 (first-paint) までの時間を測定するツールを作った件、もしくはHTTP2時代のパフォーマンスチューニングの話 ウェブページの表示までにかかる時間をいかに短くするかってのは、儲かるウェブサイトを構築する上で避けて通れない、とても重要な要素です。 少し古いデータとしては、たとえば、ウェブページの表示が500ミリ秒遅くなると広告売上が1.2%低下するというBingの例なんかも知られているわけです。 「ウェブページの表示までにかかる時間」と言った場合、実際には以下のようないくつかのメトリックがあります。 イベント 意味
10GbE時代のネットワークI/O高速化
No one is an island. Learnings from fostering a developers community.
なぜHTTPSはHTTPより速いのか
先週、httpvshttps.com というウェブサイトが公開されました。このウェブサイトでは、HTTP と HTTPS を用いてアクセスした場合のウェブページのダウンロード完了までにかかる時間の比較ができるのですが、多くの環境で HTTPS の方が HTTP よりも高速なことに驚きの声が上がっていました。 HTTP が TCP 上で平文を送受信するのに対し、HTTPS は TCP 上で TLS (SSL) という暗号化技術を用いて通信を行います。ならば、TLS のオーバーヘッドのぶん HTTPS のほうが遅いはずだ、という予測に反する結果になったのですから、驚くのも無理はありません。 実は、この結果にはからくりがありました。 Google Chrome、Mozilla Firefox、最近のSafari注1は、Google が開発した通信プロトコル「SPDY」に対応しており、HTTPS
画像を分割もしくは合体させてパフォーマンスは本当に変化するのか? - Webパフォーマンスについて
これは、HTML5 Advent Calendar 2014の7日目のエントリーとして書いております。 2008年4月1日に初版が発行された、オライリー・ジャパンの「ハイパフォーマンスWebサイト」を未だに参考にされている方は多いと思います。 ウェブページ内で、背景やボタン、ナビゲーションバー、リンクなどで多数の画像を使う場合は、CSSスプライトを使うのがエレガントな解決策です。そうすることで、マークアップが整理され、扱うべき画像の数も減り、レスポンスも高速になります。 ― 「ハイパフォーマンスWebサイト 高速サイトを実現する14のルール」 Steve Souders著 その部分を参照されてか、時折、「CSSスプライトを使うことで、HTTPリクエスト数が削減されて、高速化に繋がる」と書かれている方をお見受けします。 しかし、それは本当なのでしょうか? そこで、今回、本当に効果があるのかど
多くのサイトではHTTPよりもHTTPSのほうが速くアクセスできる？ | スラド IT
まず、参照されている元のコンテンツ「HTTP vs HTTPS Test」のテスト内容が錯誤に陥らせる内容なので、それはどうなの?と思います。 (誤) HTTPとHTTPSの比較 (正) HTTPとHTTPS+SPDYの比較 さて、タイトルが齎す錯誤より大きな、このテストの問題は、読み込まれる画像にExpiresヘッダーが入っており、二回目以降の読み込みは、IMS(If-Modified-Since)リクエスト、つまりダウンロードせず、変更確認だけで済む点です。 Firebugを開いた状態で、 https://www.httpvshttps.com/ [httpvshttps.com] を開いてみてください。 もし、既にブラウジングしたことがあるのであれば、Ctrl+F5で、スーパーリロードをさせて、再度コンテンツをダウンロードさせます。 その秒数を確認して下さい。 では、次に、http:
フルパワーで加速するGPUの咆哮を聞け!最先端GPUでPostgreSQLを20倍高速化!?:電脳ヒッチハイクガイド:電脳空間カウボーイズZZ(電脳空間カウボーイズ) - ニコニコチャンネル:生活
GPUってあるだろ? グラフィックス・プロセッシング・ユニット。 コンピュータの中で最も高速な部品はなんといってもGPUだ。 たとえばnViditaの最新SoCであるTegra K1。 CPU部は単精度で73.6ギガFLOPS(フロップス)、だがGPU部は364.8ギガFLOPSだ。 これが30万円する最新のGPUボード、GeForce GTX TITAN Zになると、なんとびっくり、8テラFLOPSだ。 これはIntelの最高級IA-64チップ、Xeon ES-2687Wの198.4ギガFLOPSを大きく上回る。 Core i7は92ギガFLOPSに過ぎない。 ちなみにかつて数億円したスーパーコンピュータ、Cray-2はわずか1.9ギガFLOPSに過ぎず、今のコンピュータがどれだけ速いか窺い知れる。JAMSTECの地球シミュレータは131テラFLOPSだが、追いつかれるのは時間の問題だろ
Tips - 静的リソースのURIに?をつけるべからず : 404 Blog Not Found
2014年03月14日20:00 カテゴリTipsCode Tips - 静的リソースのURIに?をつけるべからず Webを支える技術 HTTP、URI、HTML、そしてREST 山本陽平 であればなおのことこの実装はNG。 ブラウザのキャッシュを利用できれば、余分なリクエストを減らすことができます。はてなブログでは、なるべく長い間ブラウザにキャッシュを保存するために、JavaScriptなどの一部の種類のファイルのレスポンスに、以下のようなヘッダを指定しています。 はてなブログにおけるページ表示速度改善の取り組みについて - Hatena Developer BlogはてなブログではJavaScriptを配信する際には、上記のURLのように、?よりあとの部分にabc078624b2a746c618156847827166bのようなバージョンIDを付与しています。JavaScriptが変更
はてなブログにおけるページ表示速度改善の取り組みについて - Hatena Developer Blog
こんにちは、id:hakobe932です。はてなブログではユーザ体験の改善のために、ページ表示速度を向上させるための様々な取り組みを行っています。このエントリーでは、はてなブログで行っている、ブラウザキャッシュの活用、JavaScriptのページ最下部での読み込み、JavaScriptの圧縮、という3つの取り組みについて解説します。 ブラウザキャッシュの活用 同じ内容のJavaScriptやCSSを、ページを表示するたびにダウンロードすると、余分なHTTPリクエストが発生しますし、読み込み時間がかかります。 ブラウザのキャッシュを利用できれば、余分なリクエストを減らすことができます。はてなブログでは、なるべく長い間ブラウザにキャッシュを保存するために、JavaScriptなどの一部の種類のファイルのレスポンスに、以下のようなヘッダを指定しています。 $ curl -I http://hat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
「ISUCONの勝ち方」！ 100万円を獲るためのチューニングの極意 #yapcasia #yapcasiaE
