Parquet performance tuning: the missing guide
Ryan Blue explains how Netflix is building on Parquet to enhance its 40+ petabyte warehouse, combining Parquet’s features with Presto and Spark to boost ETL and interactive queries. Information about tuning Parquet is hard to find. Ryan shares what he’s learned, creating the missing guide you need. Topics include: * The tools and techniques Netflix uses to analyze Parquet tables * How to spot comm
なぜリフレクションは遅いのか | POSTD
.NETのリフレクションが遅い のは周知の事実ですが、なぜなのでしょうか。この投稿では、リフレクションの 実装 を見ながらなぜ遅いのかを解明します。 CRL型システム設計目標 リフレクションが速くない理由の1つとして、そもそも 高いパフォーマンス が設計上の目標にされてはいないことを挙げることができます。 型システム概要 – 設計の目標および非目標 では次のように記載されています。 目標 コード(リフレクションではない)の実行時に必要となる情報へのアクセスが高速なこと。 コード生成のためにコンパイル時に必要となる情報へのアクセスが容易であること。 ガベージコレクタ/スタックウォーカが必要な情報へアクセスする時に、ロックを解除したりメモリを割り当てたりしなくてよいこと。 一度にロードされる型の数が最小限であること。 指定された型をロードする時、ロードする数が最小限であること。 型システムのデ
JVMはそんなに重くない | POSTD
Clojureに反対する大きな理由がJVMです。この役立たずは重いですからね。 これは、数週間前に ZA Tech のSlackで見た投稿です。休暇中にClojureの話題を何件か見たのですが、投稿者はJVMについても繰り返し言及していました。 私はこの投稿について Slack上で少しつぶやいていました が、もっと広く理解され議論されるように、本稿を書くことを決めました。 背景 以前は、私もJVMは重いと思っていました。2000年代の初めにJVMとPHPと比べていた頃の話です。当時は、.NETやColdFusionなど、別の重い製品が他にもありました。また、PerlやPythonという軽めの製品もありましたが、私はWindowsを使っていたのでActivePerlやActivePythonはやはり少し重めでした。 私が初めてJVMに対する“恐れ”を克服したのは、小規模な製品アプリを、JRu
VPP - fd.io
Project Lead: Damjan Marion Committers: Dave Barach Florin Coras Benoit Ganne Mohammed Hawari John Lo Chris Luke Damjan Marion Neale Ranns Matthew Smith Ole Trøan Paul Vinciguerra Dave Wallace Ed Warnicke Andrew Yourtchenko Fan Zhang Repository: git clone https://gerrit.fd.io/r/vpp Mailing List: vpp-dev@lists.fd.io Jenkins: jenkins silo Gerrit Patches: code patches/reviews Bugs: VPP bugs Summary W
FDio - The Universal Dataplane
An Open Source Terabit Software Dataplane The world moves at light speed. Make sure your packet traffic keeps up. Enriching Data Plane Leadership and Deployment Efficiency. The Fast Data Project (FD.io) is an open-source project aimed at providing the world's fastest and most secure networking data plane through Vector Packet Processing (VPP).
或るプログラマの一生 » 映像可逆圧縮コーデックベンチマーク2016
年末だというのに（年末だからか？）コーデックベンチをやっていました。 計測条件は以下の通り CPU Core i7-2600K (Sandy Bridge, 3.4GHz, 4C8T) と Core i7-4770 (Haswell, 3.4GHz, 4C8T) 映像 crowd_run, 1920×1080, 500f （Xiph.org の Derf’s Test Media Collection にある 4K YUV420 のものを各フォーマットの 2K に変換したもの） 計測ツール vctest 2.1.0 x64 計測対象コーデックは以下の通り。シェアウェアであるものはライセンスを購入し、機能制限（ロゴが入る）がかからない状態になっています。 Ut Video Codec Suite 17.2.0 と 17.1.0 （旧版である 17.1.0 も計測しているのは、 17.2.0
小ネタ C# と他の言語との差というと
C#で、「他の言語との差というと」とか「他の言語から来たばかりの人が書きがちなコード」みたいなことを聞かれた場合、まず何が思い浮かぶでしょう。 C#に馴れちゃってる人だと、LINQとかasync/awaitとかの機能が最初に浮かんだりします。でも、この辺りは「大きな機能」過ぎて、知ってるか知らないかの二択、1度知れば検索してすぐに解説が出てくる類で、かえって問題にならないという印象。 案外、困るのはもうちょっと細かい部分じゃないかと思います。 みたいなのが今日の話題。 辞書(ハッシュテーブル)の列挙 Dictionary<TKey, TValue>の列挙を、キーも値も両方使うのに、Keysを使ってやろうとする人が結構いるらしいという話を聞きます。要するに以下のような書き方。 using System; using System.Collections.Generic; class Prog
Application Pauses When Running JVM Inside Linux Control Groups
Application Pauses When Running JVM Inside Linux Control GroupsCauses and Solutions Linux cgroups-based solutions (e.g., Docker, CoreOS) are increasingly being used to host multiple applications on the same host. We have been using cgroups at LinkedIn to build our own containerization product called LPS (LinkedIn Platform as a Service) and to investigate the impact of resource-limiting policies on
Aeron in Artery | Akka
We are using Aeron as the underlying transport in the new remoting implementation for Actor messages. The Aeron transport is based on UDP but it provides pretty much the same guarantees as TCP when it comes to message order and delivery. It is focused at performance and is more efficient than TCP. Artery is designed from the ground up to support high-throughput in the magnitude of 1 million messag
Exploring NUMA on Amazon Cloud Instances
What is NUMA NUMA NODES Cache Coherent NUMA (ccNUMA) Server Memory Hierarchy FileSystem Cache Latency Linux NUMA Policies Application Design NUMA Monitoring NUMA TESTING What is Numa In Symmetric Multiprocessor (SMP) systems all physical memory is seen as a single pool. All cpus share hardware resources and same address space – single instance of kernel. When physical memory and IO devices are equ
Building a Shop with Sub-Second Page Loads: Lessons Learned
Here is the story of how we leveraged research on web-caching and NoSQL systems to prepare a webshop for hundreds of thousands of visitors due to TV Show publicity and everything that we learned along the way. TV-Shows like “Shark Tank” (US), “Dragons’ Den” (UK) or “Die Höhle der Löwen (DHDL)” (GER) offer young startups a one-time opportunity to pitch their products to business magnates in front o
IBM Instana Observability
Avoid costly downtime by using IBM Instana IBM Instana is the only real-time full-stack observability solution: zero sample tracing Try Instana for free Book a live demo IBM Instana Observability - automation, context and intelligent action all in one platform Instana offers more than traditional APM solutions. It provides automated observability with AI and the ability to democratize observabilit
WebSocket大合戦：Clojure、C++、Elixir、Go、NodeJS、Ruby | POSTD
Webアプリにリアルタイムの双方向通信が必要な場合、WebSocketを選ぶのは自然なことだと思います。では、どのツールでWebSocketサーバを構築すべきでしょうか。パフォーマンスは重要ですが、開発のプロセスも見過ごしてはなりません。パフォーマンスを基準にするだけでなく、開発のしやすさも考慮に入れるべきでしょう。今回の大合戦では、Clojure、C++、Elixir、Go、NodeJS、Rubyのそれぞれの言語によって慣用的な手法で実装されたシンプルなWebSocketサーバを比較したいと思います。 テスト内容 サーバに実装するのは、 echo と broadcast の2つのメッセージのみを扱う非常に単純なプロトコルです。echoは送信クライアントに返され、ブロードキャストは全ての接続クライアントに送信されます。そしてブロードキャストが完了すると、結果メッセージが送信者に返されます。
「性能測定道」 by 東大喜連川研究室の早水さん が素晴らしすぎる - ablog
東大喜連川研究室の早水さんが日本PostgreSQLユーザ会で話された「性能測定道」がとても勉強になった。 スライドとYouTube動画が公開されています。YouTube にはスライドには書かれていない話しも出てきて、説明も非常にわかりやすいです。こういうアカデミックで最先端の研究をされている方が情報発信されるのはとてもうれしい。 id:hayamiz さんのことは何年も前から認識していたが、喜連川研究室でデータベースの研究をされているというのは初めて知りました。 TOP | Yuto Hayamizu's web site も要チェックです。 性能測定道 事始め編 性能測定道 事始め編 from Yuto Hayamizu 性能測定道 実践編 性能測定道 実践編 from Yuto Hayamizu 「性能測定道 事始め編」で紹介されていた本を買ってみましたが、なかなか歯ごたえのありそう
Optimizing TLS Record Size & Buffering Latency - igvita.com
By Ilya Grigorik on October 24, 2013 TLS record size can have significant impact on the page load time performance of your application. In fact, in the worst case, which unfortunately is also the most common case on the web today, it can delay processing of received data by up to several roundtrips! On mobile networks, this can translate to hundreds of milliseconds of unnecessary latency. The good
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RYZEN 7 1800X徹底検証 - ついに登場した新世代CPUは「AMD反撃の狼煙」となるか
How to Properly Blame Things for Causing Latency: An Introduction to Distributed Tracing and Zipkin
In-Memory Caching: Curb Tail Latency with Pelikan
JVMs Across the Data Center and Twitter's JDK
Profiling and Optimizing V8 Memory Consumption