この記事は Go 2 Advent Calendar 14日目の穴埋め記事です。 はじめに @okdyy75 さんによる Go 5 Advent Calendar 14日目の の記事「だから僕はGo言語を辞めた」 が「ベンチマークっていうのはこうやるんだよ」というのを説明するために反面教師的な意味で良い教材だと思ったので、反証記事を書きたいと思います。 ベンチマークを取りながらコードを改善して、最終的にGoは遅くないからやめる必要はないということ、そして、なぜ遅いという結論になってしまったのかを掘り下げていきたいと思います。 下準備 幸いなことに、ベンチマークのソースコードがGitHubにある ので、こちらを実行しながら問題点を改善していきましょう。 ちゃんとコードが上がっているのは素晴らしいですね！ 一方で、元記事には測定環境が明記されていませんでしたので、同じ環境で測定することはできま
リクナビ事件、リクルートとデータ購入企業に続いて外資就活ドットコム（ハウテレビジョン）に飛び火 : 市況かぶ全力２階建
詐欺広告シェア4割のMeta(旧Facebook)、被害対策として実質ゼロ回答のお気持ちを仰々しく表明 読売テレビ、自称化学者の村木風海さんをテレビ出演させて「大学教授5人から研究成果を持っていかれそうになった」との主張をそのまま垂れ流してしまう
Rustが遅すぎる？プロファイリングで性能向上！
「開発プロセスにプロファイリングを組み込むのはどうだろう？」 ミーティングで、プロファイリングの重要性を発言するだけで、みんながあなたの深い知見、意識の高さに驚くことでしょう。もちろん、あなたは、プロファイリングのやり方を知っている必要はありません。開発の終盤に、性能目標が達成されず、解析が実施される頃には、誰もあなたの発言は覚えていません。しかし、万が一、あなたの意見が採用されても困らないように、この記事を参考にしてください。 Goは、CPU、メモリ、block、mutexなど、使いこなせないほどの種類をサポートするプロファイリングツールpprofを標準機能として提供します。一方、Rustは、そんな機能を提供しません。Rustへの愛が揺らぐかもしれませんが、Rustへの愛は、見返りを求めない純愛です。愛の見返りに何かが与えられると期待してはいけません。 Rustでもpprofあなたは、す
Linux Crisis Tools
(This is based on Table 4.1 "Linux Crisis Tools" in SysPerf 2.) Some longer notes: [1] bcc and bpftrace have many overlapping tools: the bcc ones are more capable (e.g., CLI options), and the bpftrace ones can be edited on the fly. But that's not to say that one is better or faster than the other: They emit the same BPF bytecode and are equally fast once running. Also note that bcc is evolving and
これがあるのとないのとでは分かりやすさが全然違うので、perfを使う時は常に入れておくようにすると便利です。 2. --call-graph は fp 以外で使う 上記の問題を解決すると perf record + perf report では何が呼ばれているかおおむね分かることが多いのですが、call graphを出すために perf record -g をすると [unknown] というのが出てきてしまうことがあります。(以降の計測結果はRack::Utils::HeaderHashを使ったRuby VMのベンチをRubyのmasterで走らせたものです) Samples: 38K of event 'cycles:ppp', Event count (approx.): 271180000 Children Self Command Shared Object Symbol - 1
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE株式会社OA SREチームのhasebeです。 先日、私の担当するプロダクトにてPyroscopeというツールを導入しました。このブログではなぜPyroscopeを導入したのか、導入した結果どういった利点があったのかなどについてご紹介したいと思います。 Pyroscopeとは Pyroscopeとは、Continuous Profilingを実施することができるOSSのツールです。 Profilingについては特に説明は不要でしょう。ざっくりいうと、CPUやメモリ等のリソースをプログラム中のどこが多く消費しているのか(= ボトルネック)を突き止める手法のことを意味します。 一般的には、なにか問題が起きたときに手動でPr
GitHub - janestreet/magic-trace: magic-trace collects and displays high-resolution traces of what a process is doing
magic-trace collects and displays high-resolution traces of what a process is doing. People have used it to: figure out why an application running in production handles some requests slowly while simultaneously handling a sea of uninteresting requests, look at what their code is actually doing instead of what they think it's doing, get a history of what their application was doing before it crashe
皆さんはLinuxネットワークスタックの問題にあたってしまった時、あるいは単なる興味でLinuxネットワークスタックの中を調べたいと思い立った時、どのようにして調査を進めますか？カーネルのソースコードに printk を仕込んでカーネルを再コンパイルするでしょうか？もしくは最初からソースコードを読むという強い方もいらっしゃるかもしれません。どちらの方法もなかなかの茨の道です。おそらく、ほとんどの方は最終的にftrace やbpftraceなどのDynamic Tracingツールを使って、カーネルの動作を実際に動かしながら見るという方法に至ると思います。 この記事では ipftrace2 というDynamic Tracingツールの基本的な使い方をサンプルとともに紹介します。ipftrace2はネットワークスタック、特にパケット処理の部分をトレーシングをすることに特化した作りになっており、
[速報] コードレビューの自動化！パフォーマンスやコストの最適化まで出来ちゃう Amazon CodeGuru が発表されました！#reinvent | DevelopersIO
こんにちは、大阪オフィスの丸毛（@marumo1981）です！ ただいま開催されている、re:Invent 2019のキーノートにて、コードレビューの自動化サービス「Amazon CodeGuru」が発表されました。 Amazon CodeGuru とは？ CodeGuru は機械学習に最適なパフォーマンスと、ベストプラクティスに沿ったコードをユーザに提供するための自動化されたコードレビューサービスです。以下の2つの機能を提供します。 CodeGuru Reviewer CodeGuru Profiler CodeGuru Reviewer コードレビューの自動化 - ソースコードのプルリクエストを自動的に分析して重要な問題を見つけ、プルリクエスト内でコードの欠陥を直接解決するためのインテリジェントな推奨事項を提供 高速で信頼性の高いコードの問題検出 スレッドセーフの問題、非サニタイズされ
![[速報] コードレビューの自動化！パフォーマンスやコストの最適化まで出来ちゃう Amazon CodeGuru が発表されました！#reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a298426174d5914a0e9708095c8dd40c4722cc0d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_newservice_eyecatch.jpg)
Memray公式サイトのキャプチャ インストール方法は以下のとおりです。 $ pip install memray Memrayの基本的な使い方 Memrayがインストールされていると、memrayコマンドが使えるようになります。 プロファイリング対象のスクリプトをmemrayから実行すると、スクリプトを実行した同じフォルダに実行時のプロファイリング結果がバイナリ形式でファイルに保存されます。 プロファイルの実行 サンプルのPythonスクリプトとしてsample.pyを準備します。以下のコードでは、状態表示をわかりやすくするために1秒間の待ちを入れています。実行内容は、リスト内包表記で要素数が約1億個のリストを生成しています。 sample.py - リスト内包表記でリストを作る import time time.sleep(1) # 状態表示をわかりやすくするために1秒待つ resul
Linux perf Profiler UIs pprof Web UI looking at a flamechart of regexp stack traces. This post is a quick literature review of CPU profiler user interfaces available for analysing Linux program performance. I couldn't find any list of profiler UIs online. Hopefully this can help people find the profiler UI that's right for them. CPU Profiler output is extremely multidimensional — processes, thread
GitHub - bloomberg/memray: Memray is a memory profiler for Python
Memray is a memory profiler for Python. It can track memory allocations in Python code, in native extension modules, and in the Python interpreter itself. It can generate several different types of reports to help you analyze the captured memory usage data. While commonly used as a CLI tool, it can also be used as a library to perform more fine-grained profiling tasks. Notable features: 🕵️♀️ Tra
Nic Jansma (@nicj) is a software developer at Akamai building high-performance websites, apps and open-source tools. Table of Contents The JS Self-Profiling API What is Sampled Profiling? Downsides to Sampled Profiling API Document Policy API Shape Sample Interval Buffer Who to Profile When to Profile Specific Operations User Interactions Page Load Overhead Anatomy of a Profile Beaconing Size Comp
go-profiler-notes/guide/README.md at main · DataDog/go-profiler-notes
Introduction: Read This · Mental Model for Go · Profiling vs Tracing Use Cases: Reduce Costs · Reduce Latency · Memory Leaks · Program Hanging · Outages Go Profilers: CPU · Memory · Block · Mutex · Goroutine · ThreadCreate Viewing Profiles: Command Line · Flame Graph · Graph Go Execution Tracer: Timeline View · Derive Profiles Go Metrics: MemStats Other Tools: time · perf · bpftrace Advanced Topic
Datadog Profilerで継続的なProfilingを実施できるようにした話 - unless’s blog
おまえだれ? 株式会社Kyash でサーバサイドエンジニアをしている @uncke__ko です Fundsチームに所属していて主にお金の入出金部分を担当しています これは何? Kyashではシステムの監視やモニタリングにDatadogを使用しています www.datadoghq.com Datadogにある Continuous Profilerという機能を使い、継続的にProfilingできる環境を整えたのでその話になります docs.datadoghq.com Profilerとは プロファイラとはアプリケーションの性能を解析するためのツールです ソフトウェア開発をしていると下記のようなことが度々起こった経験が1度はあると思います OOMが発動するようになる latencyが遅くなる アプリケーションの動作が徐々に重くなる Profilerがあると、このようなときにアプリケーションの
こんにちは。サイバーエージェントの杉浦です。 連載「5分でわかる！Kubernetes/CloudNative Topics」の第6回は、オブザーバビリティに注目して、Kubernetesにおける継続的プロファイリングについて取り上げます。 オブザーバビリティとプロファイル 安定してサービスを提供するためには、デプロイしたアプリケーションの状態を継続的に観測し、不具合やその予兆を察知・対処していく必要があります。 アプリケーションの状態を観測する能力をオブザーバビリティ（Observability[1]）といいます。このオブザーバビリティを確保するにあたってどのようなデータを用意すべきか、従来ではメトリクス・トレース・ログの3つを柱とすべきだとされていました。 それぞれメトリクスはCPU使用率やメモリ使用量といった時系列の数値データ、トレースは個々のアプリケーションを伝播する特定のリクエス
tl;dr In our continued efforts to expand and improve your profiling experience, we are excited to announce new additions to our language support: Ruby and Python. All the features that are described in this blog post have recently been released as part v0.26.0 of Parca Agent. While currently these language supports are in beta, they can be enabled using the --enable-ruby-unwinding and --enable-pyt
Can be used to analyze memory leaks, see where exactly the memory is being consumed, identify temporary allocations and investigate excessive memory fragmentation Gathers every allocation and deallocation, along with full stack traces Can dynamically cull temporary allocations allowing you to profile over a long period of time Uses a custom, tailor-made stack unwinding implementation which makes i
なぜか遅いAPIをDatadog Continuous Profilerで調べて高速化した話 - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 みなさんが関わっているシステムでなぜか遅くて悩まされている処理はないでしょうか？ 最近、遅いAPIをDatadog Continuous Profilerを使用して調べました。どのように問題解決までつなげたかを記事にまとめます。 www.datadoghq.com TL;DR 特定のAPIが遅い問題が発覚 Continous Profiler導入 Continuous Profilerで計測してみると・・・ 問題修正 実際のところ まとめ 参考 TL;DR 遅い処理を改善しようと思ったらまずは計測してみること。 計測することで実は単純な問題であったことに気付けるケースがたくさんあります。また、的はずれな推測を元にでたらめな変更を繰り返してしまう事態を防げます。 通常のDatadog APMで原因がわからない場合には、Continuous Profilerで可視
GitHub - mstange/samply: Command-line sampling profiler for macOS and Linux
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
A graphical Python profiler that provides a clear view of your application's execution while being both low-overhead and easy to use. Install Live Demo Learn More Quickly see everything your application is doing, without modifying any of your code FunctionTrace can be called on existing Python applications with absolutely no modifications, and provides a complete and precise view of your applicati
GitHub - yahoo/kubectl-flame: Kubectl plugin for effortless profiling on kubernetes
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - laixintao/flameshow: A terminal Flamegraph viewer.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Go言語が実行時のプロファイラ情報でコンパイルを最適化する「Profile-guided optimization」パブリックプレビュー
Go言語が実行時のプロファイラ情報でコンパイルを最適化する「Profile-guided optimization」パブリックプレビュー Go言語の開発チームは2月1日にリリースしたGo 1.20で、実行時のプロファイラ情報を用いてコンパイルを最適化し、実行速度の改善を図る「Profile-guided optimization」機能のパブリックプレビューを開始しましたことを明らかにしました。 Profile-guided optimizationを用いることで、現時点で2％から4％程度の性能向上が得られ、将来的にはさらに大きな性能向上を実現できるとしています。 Go 1.20 marks the launch of profile-guided optimization into public preview! PGO is a compiler optimization techniq
Pythonのプロファイリング - Qiita
プロファイラ cProfile プログラムが、どの関数でどれぐらい時間がかかっているかをプロファイリングしてくれます。 ざっくり関数レベルでのプロファイルを調べるのに使います。 参考：https://docs.python.jp/3/library/profile.html line_profile 行ごとにどの程度の時間がかかっているのかを調べます。 cProfileであたりをつけた関数のプロファイルを調べるのに使います。 全体(main)に使うことも可能ですが、行ごとに結果が出てきます。 参考：https://github.com/rkern/line_profiler 以下では、それぞれについて、 - 実行する方法：コマンドラインから行う場合とコードに組み込んで実行する場合 - 確認する方法：標準出力とファイル出力の場合 について説明します。 cProfile プログラムが、どの関数
Pythonのline_profilerとmemory_profilerの紹介 - Qiita
from line_profiler import LineProfiler LEN = 10000 # ひどいコード def hoge(): a = [] for i in range(LEN): a.append(i * i) return a prof = LineProfiler() prof.add_function(hoge) prof.runcall(hoge) prof.print_stats() Timer unit: 1e-06 s # 処理時間の単位 Total time: 0.007426 s # 合計処理時間 File: profiler.py # 実行ファイル名 Function: hoge at line 7 # 関数宣言位置 Line # Hits Time Per Hit % Time Line Contents =====================
Tracy supports profiling CPU (Direct support is provided for C, C++, Lua and Python integration. At the same time, third-party bindings to many other languages exist on the internet, such as Rust, Zig, C#, OCaml, Odin, etc.), GPU (All major graphic APIs: OpenGL, Vulkan, Direct3D 11/12, OpenCL.), memory allocations, locks, context switches, automatically attribute screenshots to captured frames, an
こんにちはエンジニアののりすけです。 みんなのマーケットではPythonを使用したサービスを動かしています。以前より使用メモリが異常に大きいサービスがあるため、SREチームからなんとかしてほしいとの依頼が来ています。 今回はサンプルコードを使ってPythonのメモリプロファイルを行いながら、省メモリなアプリケーションをどのように実装するか検証したいと思います。 利用するツール memory_profiler matplotlib 上記のライブラリをpip installでインストールしておきます。 memory_profilerの基本的な使い方 まず使い方を確認します。以下のように確認したい処理にデコレータ@profileを記述します。 from memory_profiler import profile def large_integer_list(): return [i for i
Reducing Go Execution Tracer Overhead With Frame Pointer Unwinding
The Go Execution Tracer (aka runtime/trace) was designed to achieve low enough overhead to be usable on "a server in production serving live traffic". This is achieved by writing events into per-P buffers, using RDTSC for timestamps, and encoding into a relatively efficient binary format. However, one achilles heel has remained since 2014: ... 75% of the overhead is stack unwinding. – Go Execution
Fusic Tech Blog
Fusicエンジニアによる技術ブログ
Parca - Open Source infrastructure-wide continuous profiling
by method name, class name, and line number. Without complex overhead, in any language or framework. IO31%Address:0x4553e01415161718192021222324252627282930313233343536 < n> ( std::array<std::array<, n>, n> &board, &row, &col) { i = , j = ; (i = ; i < col; i++) { (board[row][i]) { ; } } // Check upper diagonal on left side (i = row, j = col; i >= && j >= ; i--, j--) { (board[i][j]) { ; } } (i = ro
GitHub - grafana/pyroscope: Continuous Profiling Platform. Debug performance issues down to a single line of code
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Sometimes debuggers and profilers are obviously broken, sometimes it's subtle and hard to spot. From my flame graphs page: (Click for original SVG.) This is pretty common and usually goes unnoticed as the flame graph looks ok at first glance. But there are 15% of samples on the left, above "[unknown]", that are in the wrong place and missing frames. The problem is that this system has a default li
Ever wanted more different ways to understand what’s going on in a program? Here I catalogue a huge variety of tracing methods you can use for varying types of problems. Tracing has been such a long-standing interest (and job) of mine that some of these will novel and interesting to anyone who reads this. I’ll guarantee it by including 2 novel tracing tools I’ve made and haven’t shared before (loo
20200623 AWS Black Belt Online Seminar Amazon Elasticsearch Service
AWS X-Ray と AWS Application Cost Profilerを使用して共有 AWS インフラストラクチャのテナントコストを追跡する | Amazon Web Services
Amazon Web Services ブログ AWS X-Ray と AWS Application Cost Profilerを使用して共有 AWS インフラストラクチャのテナントコストを追跡する こちらのブログ記事では、AWS Application Cost Profiler をご紹介しました。この新サービスでは、マルチテナントのアプリケーションを実行しているお客様が、テナント間で共有されている AWS リソースの詳細なコスト内訳を取得することができます。AWS Application Cost Profiler は、お客様、特に SaaS ISV に、各顧客またはテナントのインフラストラクチャコストを関連付けて報告する標準的なメカニズムを提供します。この詳細なテナントベースのコスト表示により、ISV は製品の利用プランベースまたは使用量ベースの価格設定による市場投入戦略を策定し、
GitHub - felixge/fgtrace: fgtrace is an experimental profiler/tracer that is capturing wallclock timelines for each goroutine. It's very similar to the Chrome profiler.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【Unity】CPU Profilerの結果を分析できる「Profile Analyzer」が便利という話 - Qiita
この記事は【unityプロ技②】 Advent Calendar 2019の7日目の記事です。 今年の春ぐらいにCPU Profilerの結果を分析できる「Profile Analyzer」と言うツールのPreview版が公開されました。 こちらはパフォーマンスの最適化を行う上では結構便利な機能であり、Previewと言えども個人的には結構使っていけそうな雰囲気があります。 ただ、このツールに関する日本語の情報をあまり見受けない?印象があったので1、今回は紹介序に各種機能などを簡単に解説して行ければと思います。 検証環境 Unity version Unity 2018.4.13f1+ ※Documents曰く「Unity5.6以降」 までは互換性があるとのこと。(PackageManagerの管理下よりコピーしてくれば動作するらしい？） Packages version Profile
Presto で Parquet にクエリすると、参照するカラムのみ読んでいることを確認した - ablog
HDFS の Datanode の Flame Graph sun.nio.ch.FileChannelImpl:::transferTo から sendfile システムコールが呼ばれている。 一番左のスタックをドリルダウンしたもの。 Presto Server の Flame Graph 一番左のスタックをドリルダウンしたもの、com.facebook.presto.parquet.reader.BinaryColumnReader:::readValue で Columnar Read していると思われる。 確認ポイント Presto で Parquet にクエリする際、参照するカラムのデータのみ読む。 環境 リリースラベル: emr-5.28.0 Hadoop ディストリビューション: Amazon 2.8.5 Hive 2.3.6, Pig 0.17.0, Hue 4.4.0,
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![さくらインターネットで活躍中の id:y_uukiを訪問 | はてな卒業生訪問企画 [#9] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b5961cfe7e9736ef0e88bc0290b1599481d2626/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20240319%2F20240319125826.jpg)
結局、Go言語をやめる理由はなかった件 - Qiita
Linux perfで快適に計測するためのtips - Qiita
Pyroscopeを使ったContinuous Profilingの活用事例
ipftrace2で始めるLinuxネットワークスタック探訪 - Qiita
メモリプロファイラ「Memray」の解説 | gihyo.jp
Linux perf Profiler UIs
JS Self-Profiling API In Practice
入門 継続的プロファイリング 〜Kubernetesにおけるオブザーバビリティの最前線〜 | gihyo.jp
Profiling Python and Ruby using eBPF
GitHub - koute/bytehound: A memory profiler for Linux.
FunctionTrace - human-oriented profiling for Python
GitHub - wolfpld/tracy: Frame profiler
Pythonでメモリ使用量を改善してみる - くらしのマーケット開発ブログ
The Return of the Frame Pointers
All my favorite tracing tools: eBPF, QEMU, Perfetto, new ones I built and more - Tristan Hume
Parquetはカラムナなのか？
Writing a Profiler in 240 Lines of Pure Java - Mostly nerdless
ibarakinews.jp
www.arabnews.jp
www.gamespark.jp
anond.hatelabo.jp
news.yahoo.co.jp
maminxx.hatenablog.com