Go 言語のプロファイル機能とネットワークコネクションにまつわるトラブルシューティング
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog インフラエンジニア見習いの森本です。これまで数年ほどサーバーサイドエンジニアとして開発ばかりをしてきた人が最近インフラエンジニアになりました。 3月末に開催された Go Conference 2017 Spring で開発チームの後藤から弊社で開発・運用している AWS S3 互換の分散オブジェクトストレージ Dragon についての発表がありました。 Goでヤフーの分散オブジェクトストレージを作った話 私は Dragon の運用を担うチームに所属しており、本稿ではその業務の中で発生したトラブルシューティングについて紹介したいと思います。 分散オブジェクトストレージ Dragon で発生していた課題 Dragon で gorout
Profiling and optimizing Go web applications - Artem Krylysov
Note This post was updated on 2021-04-25. Go has a powerful built-in profiler that supports CPU, memory, goroutine and block (contention) profiling. Enabling the profiler # Go provides a low-level profiling API runtime/pprof, but if you are developing a long-running service, it's more convenient to work with a high-level net/http/pprof package. All you need to enable the profiler is to import net/
Daily code optimization using benchmarks and profiling in Golang - Gophercon India 2016 talk
Need some help with analyzing whether algorithm A performs faster than B? Or can I know whether method A performs better than method B? Or is approach A to send JSON response to the client performs better than approach B? How to find answers for everyday performance related questions? These questions can be answered easily if you are happened to program in Golang. Golang comes bundled with facilit
Profiling Python in Production - Nylas
We recently reduced CPU usage across our fleet by 80%. One key technique that made this possible was a lightweight profiling strategy that we could run in production. This post is about the ways we approached instrumentation, the tradeoffs involved, and some tools you can use to optimize your own apps (including code!). Background Nylas is a developer platform that provides APIs to integrate with
GolangでFlame Graphを描く
アプリケーションのパフォーマンス問題の解決やチューニングで大切なのは問題のコアやボトルネックに最短パスで到達することである． 基本的なパフォーマンス分析の入り口はアプリケーションのスレッドがon-CPUで時間を消費しているかoff-CPUで時間を消費しているかを理解するところから始まる．on-CPUの場合はそれがuserモードかkernelモードかを特定し，さらにCPUプロファイリングによってどのcode pathがCPUを消費しているのかの分析に向かう．off-CPUの場合はI/OやLock，pagingといった問題の分析に向かう． Flame Graphはon-CPUでのパフォーマンスの問題が発覚した時に行うCPUプロファイリングを助ける．どのcode pathがボトルネックになっているのかを1つのグラフ上で理解できる．本記事ではFlame Graphとは何か? なぜ必要なのか? を解
Profiling Ansible Tasks
Introduction The source on GitHub. After spending far too much time wondering which of the tasks in my long list of Ansible tasks were slow, I decided to do something about it. In the pursuit of automating everything, I've constructed a large collection of playbooks, complete with their own dependencies, to do just about anything that needs to be done for my web service stacks. Where I used to gro
デコレータで楽にcProfileする - Qiita
そこそこの規模のライブラリ書いてると、プロファイルするとき毎回コマンドラインからスクリプトを実行したりunittestのsetUpとtearDown書くのが面倒だったりするので、デコレータを作っておきます。 import cProfile import pstats def profile(func): def _f(*args, **kwargs): pr = cProfile.Profile() pr.enable() print("\n<<<---") res = func(*args, **kwargs) p = pstats.Stats(pr) p.strip_dirs().sort_stats('cumtime').print_stats(20) print("\n--->>>") return res return _f 特定の関数やメソッドだけピンポイントでプロファイルでき
Enhanced Intel SpeedStep® Technology and Demand-Based Switching on Linux* - Intel® Software Network
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
Profiling Go Programs - The Go Programming Language
Russ Cox, July 2011; updated by Shenghou Ma, May 2013 24 June 2011 At Scala Days 2011, Robert Hundt presented a paper titled Loop Recognition in C++/Java/Go/Scala. The paper implemented a specific loop finding algorithm, such as you might use in a flow analysis pass of a compiler, in C++, Go, Java, Scala, and then used those programs to draw conclusions about typical performance concerns in these
Go Conference 2014 Autumn、その他のセッションのまとめ | gihyo.jp
前回の記事では、3つのセッションについてレポートを記しました。この記事では、残りのセッションについてまとめたいと思います。 Why my Go program is slow?（@methane氏） このセッションでは、@methane氏からpprofというCPUプロファイラとGo言語におけるパフォーマンスチューニングについての話がされました。なお、このセッションの発表資料は、以下のURLから閲覧することができます。 http://www.slideshare.net/InadaNaoki/gocon2014-pprof 写真1 @methane氏の発表の様子 サンプリングプロファイラ pprofはサンプリングプロファイラで、一定時間ごとにCPUがどこを処理しているかというサンプルを取ることでプロファイリングを行うそうです。そのため、多くのサンプルが取れた関数は時間がかかっているということ
Go で利用できるプロファイリングツール pprof の読み方 - Qiita
概要 Go にはプロファイリングツールがついているのだけど，何を出力してくれているのかよく分からなかったのでメモ．間違いに気づかれた方いらっしゃったらコメントいただければ幸いです ． 出典 Russ Cox さんが下記に書いてくれてました．これを読むのが間違いないです． Russ Cox, Profiling Go Programs CPU Profiling プロファイリング用のコードの埋め込み まず， runtime/pprof を import しておきます．(net/http/pprofというのもあります)． CPU Profiling は計測したい実行コードの前でStartCPUProfile()を呼んで，計測終了のタイミングでpprof.StopCPUProfile()を呼びます．終了の方は defer に登録しておけば関数抜けるときに自動で呼ばれるので便利ですが，Ctr-Cと
JavaのCPUプロファイリング - nekop's blog
JBoss / WildFly (全部俺) Advent Calendar 2013の19日目です。Java一般なトピック寄りで。 自分で主に利用するJavaのプロファイラはYourKitなのですが、YourKitを購入していない場合で性能問題を解析するときとかに何が使えるかなぁと思って調べてみました。 $ uname -a Linux localhost.localdomain 3.11.10-301.fc20.x86_64 #1 SMP Thu Dec 5 14:01:17 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux $ java -version java version "1.7.0_45" OpenJDK Runtime Environment (fedora-2.4.3.0.fc20-x86_64 u45-b15) OpenJDK 64-Bi
WSGI Application Profiler — Werkzeug Documentation (0.16.x)
Warning werkzeug.contrib.profiler has moved to werkzeug.middleware.profiler. The old import is deprecated as of version 0.15 and will be removed in version 1.0. class werkzeug.contrib.profiler.MergeStream(*streams)¶ An object that redirects write calls to multiple streams. Use this to log to both sys.stdout and a file: f = open('profiler.log', 'w') stream = MergeStream(sys.stdout, f) profiler = Pr
Devel::NYTProf で Starlet/Starman (Plack) でうごくウェブアプリケーションのプロファイリングをおこなう方法まとめ - tokuhirom's blog
Devel::NYTProf は Perl5 の世界でもっとも人気があるプロファイラである。表示が美麗であるし、ステップごとの処理速度が簡単にわかるのでとても便利だ。 そんな Devel::NYTProf であるが、Starlet/Starman のようなプリフォーク式のサーバーでうごくウェブアプリケーションとくみあわせる場合の方法論として、わかりやすい資料がみあたらなかったのでここに記すものである。 環境変数 NYTPROF を設定する Devel::NYTProf は環境変数で挙動を変えられる。 plack とくみあわせる場合には、以下のようにするとよい。 NYTPROF=sigexit=int:savesrc=0:start=no sigexit=int 通常、Devel::NYTProf は END { } ブロックでデータのファイナライズ処理をおこなうのだが、SIGNAL によっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Profiling and Optimizing Go
YAPC: Go Debugging, Profiling, and Optimization
GitHub - bradfitz/talk-yapc-asia-2015: talk-yapc-asia-2015
GitHub - rakyll/gom: A visual interface to work with runtime profiling data for Go
MySQLをプロファイる(仮)
linesman