この記事は Go 2 Advent Calendar 14日目の穴埋め記事です。 はじめに @okdyy75 さんによる Go 5 Advent Calendar 14日目の の記事「だから僕はGo言語を辞めた」 が「ベンチマークっていうのはこうやるんだよ」というのを説明するために反面教師的な意味で良い教材だと思ったので、反証記事を書きたいと思います。 ベンチマークを取りながらコードを改善して、最終的にGoは遅くないからやめる必要はないということ、そして、なぜ遅いという結論になってしまったのかを掘り下げていきたいと思います。 下準備 幸いなことに、ベンチマークのソースコードがGitHubにある ので、こちらを実行しながら問題点を改善していきましょう。 ちゃんとコードが上がっているのは素晴らしいですね！ 一方で、元記事には測定環境が明記されていませんでしたので、同じ環境で測定することはできま
リクナビ事件、リクルートとデータ購入企業に続いて外資就活ドットコム（ハウテレビジョン）に飛び火 : 市況かぶ全力２階建
詐欺広告シェア4割のMeta(旧Facebook)、被害対策として実質ゼロ回答のお気持ちを仰々しく表明 読売テレビ、自称化学者の村木風海さんをテレビ出演させて「大学教授5人から研究成果を持っていかれそうになった」との主張をそのまま垂れ流してしまう
インフラ・ストリーミングチームの id:udzura （@udzura）です。今回は、Goミドルウェアのメモリリークを見つけて解決する際に、どのようなプロセスを踏んでいったかを解説します。 Go製のミドルウェアの概要 ミラティブでは、Webアプリケーションのみならず、ミドルウェアに相当する部分についても必要なものは内製しています。その中の一つに、社内で「Radisha」と呼んでいる各種集計とキャッシュなどを行うためのミドルウェアがあります。Radishaは以下のような特徴を備えています。 GET、SET、SETEXなど基本的なRedis互換のコマンドを実装している。そのため、既存のRedisクライアントライブラリから操作が可能である。 ランキング集計、一定時間内のアクセス集計などが行えるよう、Redis にない独自のコマンドを実装している。 高い可用性を志向しており、オンメモリのデータは
The Rust Performance Book First published in November 2020 Written by Nicholas Nethercote and others Source code
Rustが遅すぎる？プロファイリングで性能向上！
「開発プロセスにプロファイリングを組み込むのはどうだろう？」 ミーティングで、プロファイリングの重要性を発言するだけで、みんながあなたの深い知見、意識の高さに驚くことでしょう。もちろん、あなたは、プロファイリングのやり方を知っている必要はありません。開発の終盤に、性能目標が達成されず、解析が実施される頃には、誰もあなたの発言は覚えていません。しかし、万が一、あなたの意見が採用されても困らないように、この記事を参考にしてください。 Goは、CPU、メモリ、block、mutexなど、使いこなせないほどの種類をサポートするプロファイリングツールpprofを標準機能として提供します。一方、Rustは、そんな機能を提供しません。Rustへの愛が揺らぐかもしれませんが、Rustへの愛は、見返りを求めない純愛です。愛の見返りに何かが与えられると期待してはいけません。 Rustでもpprofあなたは、す
Linux Crisis Tools
(This is based on Table 4.1 "Linux Crisis Tools" in SysPerf 2.) Some longer notes: [1] bcc and bpftrace have many overlapping tools: the bcc ones are more capable (e.g., CLI options), and the bpftrace ones can be edited on the fly. But that's not to say that one is better or faster than the other: They emit the same BPF bytecode and are equally fast once running. Also note that bcc is evolving and
これがあるのとないのとでは分かりやすさが全然違うので、perfを使う時は常に入れておくようにすると便利です。 2. --call-graph は fp 以外で使う 上記の問題を解決すると perf record + perf report では何が呼ばれているかおおむね分かることが多いのですが、call graphを出すために perf record -g をすると [unknown] というのが出てきてしまうことがあります。(以降の計測結果はRack::Utils::HeaderHashを使ったRuby VMのベンチをRubyのmasterで走らせたものです) Samples: 38K of event 'cycles:ppp', Event count (approx.): 271180000 Children Self Command Shared Object Symbol - 1
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE株式会社OA SREチームのhasebeです。 先日、私の担当するプロダクトにてPyroscopeというツールを導入しました。このブログではなぜPyroscopeを導入したのか、導入した結果どういった利点があったのかなどについてご紹介したいと思います。 Pyroscopeとは Pyroscopeとは、Continuous Profilingを実施することができるOSSのツールです。 Profilingについては特に説明は不要でしょう。ざっくりいうと、CPUやメモリ等のリソースをプログラム中のどこが多く消費しているのか(= ボトルネック)を突き止める手法のことを意味します。 一般的には、なにか問題が起きたときに手動でPr
pprof を使って nodejs アプリケーションのプロファイルを取る - その手の平は尻もつかめるさ
pprof って go のやつでしょ？ node のプロファイルが取れるわけ無いやろ，と僕も思っていたんですが以下のライブラリを使うことで取れることがわかりました． github.com 使い方については Using the Profiler に書いてあるとおりで，アプリケーション側に const profile = await pprof.time.profile({ durationMillis: 10000, // time in milliseconds for which to // collect profile. }); const buf = await pprof.encode(profile); fs.writeFile('wall.pb.gz', buf, (err) => { if (err) throw err; }); という風に書いてあげるとwall time
目次はじめに1章 JDK Flight Recoderとは？1.1 JDK Flight Recorder 1.2 Javaにおけるパフォーマンス分析と障害診断 1.3 JFRの歴史 - JRockitからOpenJDKまで 1.4 JFRの動作環境とJMCのインストール 2章 JDK Flight Recorderのアーキテクチャ2.1 JFRのアーキテクチャ概要 2.2 JFRとオーバーヘッド 3章 JDK Flight Recorderの記録3.1 JDK Flight Recorderの記録 4章 JDK Mission Controlによる障害分析4.1 JFR/JMCで分析可能なメトリクス 4.2 Weblogic(WLDF)とJFR 4.3 ECIDと分散トレース 4.x ユースケース 4.x.1 ユースケース1 - バッチのボトルネック分析 4.x.2 ユースケース2 -
Orbit, the Open Runtime Binary Instrumentation Tool is a standalone native application profiler for Windows and Linux. It supports native applications written in languages such as C, C++, Rust, or Go. Its main purpose is to help developers identify the performance bottlenecks of a complex application. Orbit can be also used to visualize the execution flow of such applications. The key differentiat
GitHub - janestreet/magic-trace: magic-trace collects and displays high-resolution traces of what a process is doing
magic-trace collects and displays high-resolution traces of what a process is doing. People have used it to: figure out why an application running in production handles some requests slowly while simultaneously handling a sea of uninteresting requests, look at what their code is actually doing instead of what they think it's doing, get a history of what their application was doing before it crashe
皆さんはLinuxネットワークスタックの問題にあたってしまった時、あるいは単なる興味でLinuxネットワークスタックの中を調べたいと思い立った時、どのようにして調査を進めますか？カーネルのソースコードに printk を仕込んでカーネルを再コンパイルするでしょうか？もしくは最初からソースコードを読むという強い方もいらっしゃるかもしれません。どちらの方法もなかなかの茨の道です。おそらく、ほとんどの方は最終的にftrace やbpftraceなどのDynamic Tracingツールを使って、カーネルの動作を実際に動かしながら見るという方法に至ると思います。 この記事では ipftrace2 というDynamic Tracingツールの基本的な使い方をサンプルとともに紹介します。ipftrace2はネットワークスタック、特にパケット処理の部分をトレーシングをすることに特化した作りになっており、
[速報] コードレビューの自動化！パフォーマンスやコストの最適化まで出来ちゃう Amazon CodeGuru が発表されました！#reinvent | DevelopersIO
こんにちは、大阪オフィスの丸毛（@marumo1981）です！ ただいま開催されている、re:Invent 2019のキーノートにて、コードレビューの自動化サービス「Amazon CodeGuru」が発表されました。 Amazon CodeGuru とは？ CodeGuru は機械学習に最適なパフォーマンスと、ベストプラクティスに沿ったコードをユーザに提供するための自動化されたコードレビューサービスです。以下の2つの機能を提供します。 CodeGuru Reviewer CodeGuru Profiler CodeGuru Reviewer コードレビューの自動化 - ソースコードのプルリクエストを自動的に分析して重要な問題を見つけ、プルリクエスト内でコードの欠陥を直接解決するためのインテリジェントな推奨事項を提供 高速で信頼性の高いコードの問題検出 スレッドセーフの問題、非サニタイズされ
![[速報] コードレビューの自動化！パフォーマンスやコストの最適化まで出来ちゃう Amazon CodeGuru が発表されました！#reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b63d6024c48871267b73125970a359d424fe8a3/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_newservice_eyecatch.jpg)
Memray公式サイトのキャプチャ インストール方法は以下のとおりです。 $ pip install memray Memrayの基本的な使い方 Memrayがインストールされていると、memrayコマンドが使えるようになります。 プロファイリング対象のスクリプトをmemrayから実行すると、スクリプトを実行した同じフォルダに実行時のプロファイリング結果がバイナリ形式でファイルに保存されます。 プロファイルの実行 サンプルのPythonスクリプトとしてsample.pyを準備します。以下のコードでは、状態表示をわかりやすくするために1秒間の待ちを入れています。実行内容は、リスト内包表記で要素数が約1億個のリストを生成しています。 sample.py - リスト内包表記でリストを作る import time time.sleep(1) # 状態表示をわかりやすくするために1秒待つ resul
GitHub - kubeshark/kubeshark: The API traffic analyzer for Kubernetes providing real-time K8s protocol-level visibility, capturing and monitoring all traffic and payloads going in, out and across containers, pods, nodes and clusters. Inspired by Wireshark
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【Go】profefeでContinuous Profilingをやっていく話 - Mirrativ Tech Blog
こんにちは、サーバーエンジニアの牧野です。 今回はGoで開発しているアプリケーションでContinuous Profilingを実践するために導入した profefe を紹介したいと思います。 Continuous Profilingとは Continuous Profilingとは、ざっくり言うと本番環境で継続的にプロファイリングすることを指します。Continuous Profilingができると、本番環境でのみ発生するパフォーマンスの問題を捉えることができたり、継続的にプロファイリングすることで問題が発生する前後の状態を比較することができます。 Goには pprof というプロファイリングのための標準パッケージがあり、プロファイリング自体は容易に行うことができますが、Continuous Profilingを実現するとなると、以下のような課題と向き合う必要があります。 本番環境でオー
GitHub - guumaster/hostctl: Your dev tool to manage /etc/hosts like a pro!
A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
PHP Conference Japan 2021での発表資料です https://fortee.jp/phpcon-2021/proposal/3ed8a69b-8618-4644-9a8c-655505078743
Linux perf Profiler UIs pprof Web UI looking at a flamechart of regexp stack traces. This post is a quick literature review of CPU profiler user interfaces available for analysing Linux program performance. I couldn't find any list of profiler UIs online. Hopefully this can help people find the profiler UI that's right for them. CPU Profiler output is extremely multidimensional — processes, thread
I recently gave a talk on “Making Sense of Performance Metrics” at the Web Unleashed Conference, and it was suggested that I turn the breakdown of all the performance metrics into a cheatsheet; so here it is! The full cheatsheet, including a downloadable PDF version, are at the bottom of the page so feel free to skip to that. Four Questions # In a web.dev article on "User-centric Performance Metri
GitHub - bloomberg/memray: Memray is a memory profiler for Python
Memray is a memory profiler for Python. It can track memory allocations in Python code, in native extension modules, and in the Python interpreter itself. It can generate several different types of reports to help you analyze the captured memory usage data. While commonly used as a CLI tool, it can also be used as a library to perform more fine-grained profiling tasks. Notable features: 🕵️♀️ Tra
Nic Jansma (@nicj) is a software developer at Akamai building high-performance websites, apps and open-source tools. Table of Contents The JS Self-Profiling API What is Sampled Profiling? Downsides to Sampled Profiling API Document Policy API Shape Sample Interval Buffer Who to Profile When to Profile Specific Operations User Interactions Page Load Overhead Anatomy of a Profile Beaconing Size Comp
go-profiler-notes/guide/README.md at main · DataDog/go-profiler-notes
Introduction: Read This · Mental Model for Go · Profiling vs Tracing Use Cases: Reduce Costs · Reduce Latency · Memory Leaks · Program Hanging · Outages Go Profilers: CPU · Memory · Block · Mutex · Goroutine · ThreadCreate Viewing Profiles: Command Line · Flame Graph · Graph Go Execution Tracer: Timeline View · Derive Profiles Go Metrics: MemStats Other Tools: time · perf · bpftrace Advanced Topic
Datadog Profilerで継続的なProfilingを実施できるようにした話 - unless’s blog
おまえだれ? 株式会社Kyash でサーバサイドエンジニアをしている @uncke__ko です Fundsチームに所属していて主にお金の入出金部分を担当しています これは何? Kyashではシステムの監視やモニタリングにDatadogを使用しています www.datadoghq.com Datadogにある Continuous Profilerという機能を使い、継続的にProfilingできる環境を整えたのでその話になります docs.datadoghq.com Profilerとは プロファイラとはアプリケーションの性能を解析するためのツールです ソフトウェア開発をしていると下記のようなことが度々起こった経験が1度はあると思います OOMが発動するようになる latencyが遅くなる アプリケーションの動作が徐々に重くなる Profilerがあると、このようなときにアプリケーションの
こんにちは。サイバーエージェントの杉浦です。 連載「5分でわかる！Kubernetes/CloudNative Topics」の第6回は、オブザーバビリティに注目して、Kubernetesにおける継続的プロファイリングについて取り上げます。 オブザーバビリティとプロファイル 安定してサービスを提供するためには、デプロイしたアプリケーションの状態を継続的に観測し、不具合やその予兆を察知・対処していく必要があります。 アプリケーションの状態を観測する能力をオブザーバビリティ（Observability[1]）といいます。このオブザーバビリティを確保するにあたってどのようなデータを用意すべきか、従来ではメトリクス・トレース・ログの3つを柱とすべきだとされていました。 それぞれメトリクスはCPU使用率やメモリ使用量といった時系列の数値データ、トレースは個々のアプリケーションを伝播する特定のリクエス
GitHub - google/llvm-propeller: PROPELLER: Profile Guided Optimizing Large Scale LLVM-based Relinker
A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
tl;dr In our continued efforts to expand and improve your profiling experience, we are excited to announce new additions to our language support: Ruby and Python. All the features that are described in this blog post have recently been released as part v0.26.0 of Parca Agent. While currently these language supports are in beta, they can be enabled using the --enable-ruby-unwinding and --enable-pyt
Can be used to analyze memory leaks, see where exactly the memory is being consumed, identify temporary allocations and investigate excessive memory fragmentation Gathers every allocation and deallocation, along with full stack traces Can dynamically cull temporary allocations allowing you to profile over a long period of time Uses a custom, tailor-made stack unwinding implementation which makes i
GitHub - emeryberger/scalene: Scalene: a high-performance, high-precision CPU, GPU, and memory profiler for Python
A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
こんにちは。H.Tと申します。 今年の1月よりGMOソリューションパートナーからGMOアドマーケティングに転籍となりました。 アドマではAkaNe管理画面の開発を担当することになりRails漬けの毎日を過ごしております。 今回は画面のパフォーマンス調査をする機会がありrack-mini-profilerを使ってみたので簡単にご紹介できればと思います。 rack-mini-profilerは手軽にRuby on Railsのパフォーマンス計測ができるgemとなります。 使い方の詳細については下記の通りです。 インストール ローカルなどの開発環境で使う前提の場合は下記のインストールですぐに使えます。
なぜか遅いAPIをDatadog Continuous Profilerで調べて高速化した話 - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 みなさんが関わっているシステムでなぜか遅くて悩まされている処理はないでしょうか？ 最近、遅いAPIをDatadog Continuous Profilerを使用して調べました。どのように問題解決までつなげたかを記事にまとめます。 www.datadoghq.com TL;DR 特定のAPIが遅い問題が発覚 Continous Profiler導入 Continuous Profilerで計測してみると・・・ 問題修正 実際のところ まとめ 参考 TL;DR 遅い処理を改善しようと思ったらまずは計測してみること。 計測することで実は単純な問題であったことに気付けるケースがたくさんあります。また、的はずれな推測を元にでたらめな変更を繰り返してしまう事態を防げます。 通常のDatadog APMで原因がわからない場合には、Continuous Profilerで可視
GitHub - mstange/samply: Command-line sampling profiler for macOS and Linux
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - felixge/fgprof: 🚀 fgprof is a sampling Go profiler that allows you to analyze On-CPU as well as Off-CPU (e.g. I/O) time together.
🚀 fgprof is a sampling Go profiler that allows you to analyze On-CPU as well as Off-CPU (e.g. I/O) time together. License
Python: pytest-benchmark でベンチマークテストを書く - CUBE SUGAR CONTAINER
最近は Python のテストフレームワークとして pytest がデファクトになりつつある。 今回は、そんな pytest のプラグインの一つである pytest-benchmark を使ってベンチマークテストを書いてみることにする。 ここで、ベンチマークテストというのはプログラムの特定部位のパフォーマンスを計測するためのテストを指す。 ベンチマークテストを使うことで、チューニングの成果を定量的に把握したり、加えた変更によって別の場所で性能がデグレードしていないかを確かめることができる。 なお、チューニングする前のボトルネック探しについては別途プロファイラを使うのが良いと思う。 blog.amedama.jp blog.amedama.jp 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.4 BuildV
A graphical Python profiler that provides a clear view of your application's execution while being both low-overhead and easy to use. Install Live Demo Learn More Quickly see everything your application is doing, without modifying any of your code FunctionTrace can be called on existing Python applications with absolutely no modifications, and provides a complete and precise view of your applicati
プロファイラを使ってRubyのコードをパフォーマンス改善したい - ESM アジャイル事業部 開発者ブログ
こんにちは。永和システムマネジメントの内角低め担当、はたけやまです。 作成したプログラムが想定していた速度で動かず困ってしまうこと、ありますよね？ パフォーマンス改善を行う場合、プロファイラなどを使ってプログラムを計測し、どこがパフォーマンスのボトルネックとなっているかを見つけることが重要です。 Ruby プログラムをプロファイリングするための方法はいくつかありますが、今回は stackprof を使った方法をご紹介します。 stackprof https://github.com/tmm1/stackprof stackprof を使ったプロファイリングは以下の手順で行います。 計測対象のプログラムに stackprof を仕込む 計測対象のプログラムを実行する 計測結果からボトルネックを割り出す 計測対象となるプログラム 今回は例題として以下のライフゲームを計測してみます。 lifeg
Knowing how to profile a React application to improve real-world performance is a good tool in any front-end developer’s toolkit. The Profiler API allows us to do just that with insights on why and how long our components are rendering for. We can use the profiling data to find unnecessary and expensive renders that may be impacting performance negatively. Thankfully, it’s not that complicated. Le
GitHub - yahoo/kubectl-flame: Kubectl plugin for effortless profiling on kubernetes
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - laixintao/flameshow: A terminal Flamegraph viewer.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
結局、Go言語をやめる理由はなかった件 - Qiita
Go製ミドルウェアのメモリリークを解決した話 - Mirrativ Tech Blog
Title Page - The Rust Performance Book
Linux perfで快適に計測するためのtips - Qiita
Pyroscopeを使ったContinuous Profilingの活用事例
目次 · 入門: JDK Flight Recoder
GitHub - google/orbit: C/C++ Performance Profiler
ipftrace2で始めるLinuxネットワークスタック探訪 - Qiita
メモリプロファイラ「Memray」の解説 | gihyo.jp
#phpcon2021 ステップ実行だけじゃないXdebug / hello-xdebug
Linux perf Profiler UIs
Web Performance Metrics Cheatsheet | bitsofcode
JS Self-Profiling API In Practice
入門 継続的プロファイリング 〜Kubernetesにおけるオブザーバビリティの最前線〜 | gihyo.jp
Profiling Python and Ruby using eBPF
GitHub - koute/bytehound: A memory profiler for Linux.
Railsのパフォーマンス調査でrack-mini-profilerを使ってみました。
FunctionTrace - human-oriented profiling for Python
The definitive guide to profiling React applications
news.yahoo.co.jp
super-kabu.hateblo.jp
hochi.news
x.com
anond.hatelabo.jp
tradenote.xsrv.jp