Ruby: eBPFでメモリアロケーションをプロファイリングする（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許可および指示により「非公式の翻訳として」翻訳・公開いたします。 英語記事: Spying on a Ruby process's memory allocations with eBPF - Julia Evans 原文公開日: 2018/01/31 著者: Julia Evans なお、eBPFはBPF（Berkeley Packet Filter）の拡張版（extended BPF）です。 参考: LinuxのBPF : (1) パケットフィルタ - 睡分不足 参考: LinuxのBPF : (3) eBPFの基礎 - 睡分不足 今回は、CPUプロファイラを使う代わりに、まったく新しいアイデアに基づいた実験を披露いたします。 私がその日の朝に思いついたのは、Rubyの任意のプロセスのPID（既に実行されているプロセスのPID）を取得してメモリアロケーションを追えるのでは
Unlocking eBPF power
My first steps with eBPF. In this article I'm describing how I used bluetooth tracing with eBPF to handle locking of my laptop. I heard “eBPF” so many times in recent days that I’ve decided to give it a try. I have very limited knowledge about kernel tracing so I thought it is good opportunity to learn something new. One particular talk (by Brendan Gregg) especially caught my attention and I recom
eBPF - 入門概要 編
1. eBPFとは？ eBPF(extended Berkeley Packet Filter)はLinuxカーネルが提供する機能の一つで、カーネル空間で動作する仮想マシン(Virtual Machine)で、主にネットワークパケットやシステム動作のトレーシング用途で提供されます。それ以外にも、システムのセキュリティ対策、そして近年では各種クラウドアプリケーションの高速化などでも利用されており、近年クラウド界隈を中心にホットな技術です。 より具体的には、カーネルモードで動作するサンドボックス化された仮想マシンにユーザが用意した任意のBPFバイトコードを流し込んでその仮想マシン上で実行し、カーネルのイベント(例えばカーネルの任意の関数が実行された、システムコール、特定のパケットを受信したなど)をフックしてそれらの情報をユーザランドのアプリケーションに通知およびデータ共有などが可能です。そのた
この記事は、分散アプリケーションを構成するネットワークサービス間の依存関係マップを構築するための基礎技術の改善提案をまとめたものである。第8回WebSystemArchitecture研究会での発表と同等の内容であり、そのときのスライドを以下に掲載しておく。 また、本手法のプロトタイプと評価実験のためのコードを次のGitHubリポジトリに公開している。 1. はじめに クラウドの普及により、サービス事業者は機能追加やアクセス増加への対応が容易となっている。その一方で、クラウド上に展開される分散アプリケーション内の構成要素の個数と種類が増加しているため、構成要素の依存関係が複雑化している。そのため、システム管理者が、システムを変更するときに、変更の影響範囲を特定できず、想定よりも大きな障害につながりうる。よって、システム管理者の手によらず、ネットワークサービス（ネットワーク通信するOSプロセ
eBPF入門
最近eBPFのコードを書いているのですが、体系的に学べる記事や書籍がまだない印象です。自分の知っている範囲でまとめようと思います。まだわからない箇所もあるので是非教えて下さい。 eBPF(extended Berkeley Packet Filter)とは 様々なタイミングでバイトコードを実行できるLinuxカーネルの機能です．カーネル内の関数が呼び出された時，パケットがNICに到達した時，ユーザー空間のアプリケーションの関数が呼び出された時だったりとかなり自由度高くフックポイントを設定できます． バイトコードを書くのはしんどいので，一般的にはC言語を用いてeBPFプログラムを作成します． NetflixのパフォーマンスエンジニアであるBrendan Greggはブログで eBPFがLinuxへ行うことはJavaScriptがHTMLに行ったことと同じである( eBPF does to L
Brendan@Intel.com
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
Aug 19, 2020Google announces Cilium & eBPF as the new networking dataplane for GKE Today marks an exciting day for the Cilium community and all Cilium contributors, Google just announced that Cilium has been selected and made available as the new datapath for GKE and Anthos: Today, we’re introducing GKE Dataplane V2, an opinionated dataplane that harnesses the power of eBPF and Cilium, an open sou
Cloudflare architecture and how BPF eats the world05/18/2019 Recently at Netdev 0x13, the Conference on Linux Networking in Prague, I gave a short talk titled "Linux at Cloudflare". The talk ended up being mostly about BPF. It seems, no matter the question - BPF is the answer. Here is a transcript of a slightly adjusted version of that talk. At Cloudflare we run Linux on our servers. We operate tw
Shuji YamadaBusiness Development Specialist at Periplous LLC. / SAKURA internet Inc.
Unit Testing eBPFLove it or hate it, writing unit tests is all but mandatory for your code. They provide a safety net when making changes, and give you that nice, warm feeling when you see them all pass after a change. While working on a Kernel patch I had to investigate writing unit tests for eBPF programs. Turns out, the Kernel developers have thought about this already and infrastructure exists
Trace arbitrary compiled binaries and functions on Linux, at runtime with 0 modifications. Low overhead dynamic instrumentation Wachy uses the magic of eBPF to dynamically instrument binaries with minimal overhead. This also means there is 0 overhead for untraced functions. Deep code integration eBPF on its own can be difficult and time-consuming to use. The goal of wachy is to make userspace eBPF
bpftraceでテトリス - Qiita
みなさんこんにちは．突然ですがbpftraceってご存知でしょうか? 名前から明らかなようにbpfを利用したトレーシングツールです．bpftraceの設計は以前から存在するDTraceやSystemTapに影響を受けています．それらのツールに馴染みのある人にとってはむしろ，bpftraceはDTraceやSystemTapのBPF版と言った方が（非常に雑ですが）分かりやすいかもしれません． 一般にBPFを利用してトレーシンングを実施する場合は，1) BPFプログラム本体 と 2) トレーシング結果を表示するためのユーザランドのプログラム を書く必要がありますが，bpftraceでは独自のスクリプト言語により，それらを特に意識せずにトレーシング処理が記述できます．例えば，プロセス別にシステムコール発行数を集計したい場合は以下のようにしてできます．便利ですね． % bpftrace -e 't
BPFについて調べてみた - Toku's Blog
この記事は CyberAgent Developers Advent Calendar 2018 9日目の記事です。 今回はBPFについてちょっと調べてみた。それのまとめ。落ちはない。 なぜBPFを調べようと思ったのか 要はBPFを調べようと思った動機をちょっと。 唐突にはなってしまうが、Kubernetesの上に乗っかるService Meshに関するミドルウェア(Istio/Envoyあたり)などでネットワークのレイテンシが問題として話に出ることがそこそこある。 基本的にService MeshのツールはコンテナのSidecarとして動作させ、Networkの通信をすべて見えるようにiptablesで自身にルーティングさせて、Proxyするように動作する。 これの解説としてよく見るのは以下のような図だ。 これ始めてみたときに個人的にはゾッとしたが(latency大丈夫なのか的な。)、実
Accurate, low-overhead per process bandwidth monitoring on Linux in 40 lines of bpftrace
Existing tools to measure bandwidth usage on Linux Measuring bandwidth with bpftrace The full program Preamble Installing kprobes Measuring incoming data Measuring outgoing data Cleanup Adding live updates Future work Further reading Existing tools to measure bandwidth usage on Linux Searching for “per process network usage linux” is disappointing. Most of the recommended tools – like iftop, nload
GrafanaとCiliumが戦略的提携。eBPFベースの強力な可観測性のCiliumとGrafanaの統合を推進
GrafanaとCiliumが戦略的提携。eBPFベースの強力な可観測性のCiliumとGrafanaの統合を推進 クラウドネイティブなデータ可視化ツール「Grafana」などの開発元であるGrafana Labsと、Linuxカーネルを拡張する「eBPF」用いてサービスメッシュや可観測性を提供する「Cilium」の開発元であるIsovalentが、戦略的提携を発表しました。 Grafana Labs has partnered with Isovalent to bring Grafana observability to Cilium's Service Connectivity on Kubernetes. We're very excited about this opportunity to bring together Cilium and Grafana enabling d
BCCでBPF toolsの開発をするための基礎知識 - Islands in the byte stream
最近仕事で h2olog を開発しています (H2O の QUIC 層をトレースしよう | Toru Maesaka) 。これはh2oのUSDT からデータを取り出すBPF toolです。その関係でBPFとかBCCをいろいろ触ったので、BPF toolsの開発に必要なことを書いておきます。 なおBCCまわりはまだ細かいところの作りが荒いので、思わぬトラブルがあるかもしれません。幸いpull-reqのレビュー＆マージもかなり早いので、気になったところはどんどん直していっています。 ToC ToC 開発環境のセットアップ トレース対象のプログラムのdtrace supportを有効にする トレース対象のプログラムのUSDTを確認する 開発する 用語集 BPF BPF module (BPF program) BCC (iovisor/bcc) BPF verifier eBPF USDT bp
On this page I'll describe eBPF, the front-ends, and demonstrate some of the tracing tools I've developed. 1. Screenshot Starting with a screenshot, here's an example of tracing and showing block (disk) I/O as a latency heat map: I added some annotations to that screenshot. If you are new to this visualization, see my page on latency heat maps. This uses kernel dynamic tracing (kprobes) to instrum
GitHub - Netflix/bpftop: bpftop provides a dynamic real-time view of running eBPF programs. It displays the average runtime, events per second, and estimated total CPU % for each program.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Linuxのトレースツールの体系化
Linuxのトレースツールの体系化 目次 1.はじめに 2.トレース手法の整理 2.1.イベントの分類 2.2.ツールの分類 3.トレース手法の仕組み 3.1.データソース PMU (Performance Monitoring Units) kprobe/uprobe tracepoint 3.2.フレームワーク Ftrace perf_events eBPF 3.3.ツール perf BCC (BPF Compiler Collection) Systemtap 3.4.トレースツールの歴史 4.おわりに 1.はじめに 筆者が所属する、GMOペパボのホスティングサービスでお客様に貸し出しているLinuxのWebサーバの運用・開発において以下のような課題がある。 原因特定ができない高負荷が発生する。 原因特定ができないサーバダウン、プロセスダウンが発生する。 現在のボトルネックが厳密に把
Linuxにおける利用が急速に増えている「Berkeley Packet Filter（BPF）」について、基礎から応用まで幅広く紹介する連載「Berkeley Packet Filter（BPF）入門」。前回はBPFによるトレーシングについて、おおまかな仕組みや概要を説明しました。今回は、BPFによる代表的なトレーシングツール「bpftrace」について、具体的にどのようなことができるのかを紹介します。また、bpftraceの注意点や分かりにくい点についてもまとめます。 bpftraceとは bpftraceはBPFを利用したトレーシングツールの一つです。代表的なBPFのライブラリである「BCC（BPF Compiler Collection）」と同じく、現在は「iovisor」が管理しています。BCCと比較すると、bpftraceはトレース処理に特化し、より簡単に利用できるようになって
Recap: eBPF セッションつまみ食い / eBPF sessions @ KubeCon EU 2023
Kubernetes Meetup Tokyo #58 KubeCon EU 2023 Recap の発表資料です。 https://k8sjp.connpass.com/event/282273/
Red Hat Eyeing Innovative eBPF Uses For Linux's HID Subsystem - Phoronix
Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 19+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor
第694回ではポータブルなBPFバイナリを作成できる、BPF CO-REのビルド方法を紹介しました。今回はより実践的なコードを使って、いろいろなツールを作ってみましょう。 BPF CO-REの基本と事前準備 BPF CO-RE（Compile Once - Run Everywhere）については第694回でも言及しましたが、簡単に言うとeBPFとは「カーネルやプロセスの挙動を、それらを再コンパイルすることなく調べるためのツール」であり、BPF CO-REが「移植性のあるeBPFバイナリを作成するための仕組み」になります。 また、カーネル内部で動くBPFオブジェクトは、libbpfによってカーネルにロードされます。よってユーザーランド側のツールは、libbpfを通してBPFオブジェクトをカーネルに渡し、BPFオブジェクトが生成したデータを収集しなくてはなりません。 BPFオブジェクト自体は
GitHub - pixie-io/pixie: Instant Kubernetes-Native Application Observability
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
BPFAgent: eBPF for Monitoring at DoorDash - DoorDash Engineering Blog
Patrick RogersPatrick Rogers is a software engineer at DoorDash since early 2019. Initially a member of the merchant integrations and order platform teams, he now works on the Observability team with a focus on leveraging eBPF and distributed tracing data to improve understanding & reliability of DoorDash's distributed systems. Author's Linkedin As DoorDash experienced rapid growth over the last f
eBPF Summit Day One The first day of the eBPF Summit is a wrap and it certainly was an amazing day full of information about eBPF, the technology that is changing the shape of Linux networking, observability, and performance. If you missed the keynote and lightning talks from Day 1 you can watch the replay of the event in its entirety. Individual talks, along with their links, will be made availab
慶應理工 Advent Calendar 2021の14日目の記事です。 昨日の記事はこちら nageler.hatenablog.com この記事ではeXpressなDataのPath、その名もXDP!!!!についてゆるゆると書いていきたいと思います XDPとは何者 雑に動かしてみて感じ取るXDP デバドラコードから感じ取るXDP 大変参考になる資料たち SecHack365 XDPとは何者 XDPはLinuxカーネルに実装されている技術でして、高速なパケット処理を実現する方法の1つとされています。 なぜ高速なのかと言いますと、XDPではNICのデバイスドライバの段階でパケットを処理するプログラムを動かすことが出来るのです。NICというのはNetwork Interface Cardのことでして、フレーム（パケット）を受信するハードウエアです。このハードウエアをOS側から制御するソフトウ
2 minutes to 90% test coverage! AI Generated Tests that actually work!
Persistent eBPF map object with bcc - yunazuno.log
Linux kernel 4.4以降には，eBPF map/programを"永続化"する仕組みが実装されている．ここではその概要を説明しつつ，iovisor/bccを使って実際にその動作を確かめてみる． Background: eBPF objectを複数プロセスで共有したい eBPFにmapというデータ構造があることはXDPの紹介エントリのサンプルコード内で軽く触れた． 通常，mapはそれを作成したプロセスからのみ読み書き可能である．しかし，いくつかのユースケースにおいては，mapを複数のプロセスから読み書きできると都合が良いことがある．たとえば何からの統計情報(例えばパケットカウンタ)をmapに保存してそれを外部に転送したい場合，「統計情報をmapに保存するプロセス」と「収集された統計情報を加工して外部に転送するプロセス」とに分割したほうが，実装の見通しの観点から望ましい．また，ma
Meta, Google, Isovalent, Microsoft and Netflix Launch eBPF Foundation as Part of the Linux Foundation - Linux Foundation
4 MIN READ Meta, Google, Isovalent, Microsoft and Netflix Launch eBPF Foundation as Part of the Linux Foundation Maresa Fowler | 12 August 2021 Industry leaders come together to drive the growth of eBPF as a transformational technology to redefine networking, security, tracing and observability SAN FRANCISCO, August 12, 2021 – The Linux Foundation, the nonprofit organization enabling mass innovati
eBPF for Rubyist 現状確認(1) - RbBCC の使い方 in March 2020 - ローファイ日記
気づいたら3月に... このたび、Rubyアソシエーションの助成対象となった RbBCC の開発について、最終報告書を出したのですが、せっかくなのでブログで何をやったかも書いとこうという気持ちです。 udzura.hatenablog.jp これの話です。 で、サラッと書くつもりでしたががっつりしています。週末プログラミングのお供にでもどうぞ。 RbBCC の話 以前ブログに書いた気がしていたんですが、 hello world が動いた！みたいなことしか内容がなくて、 udzura.hatenablog.jp 今はもうちょっと現実的なツールが動くんで、とりあえず書いて動かしてみましょう。 動かす環境づくりとインストール まずLinuxを用意します。カーネルのバージョンは新しいほど嬉しいです。今回はもうすぐリリースされるであろう Ubuntu Focal(20.04) を使います。カーネルバ
Author: Bill Mulligan - Isovalent Today the eBPF community is excited to announce the launch of the next version of eBPF, excelBPF™. Excel is the most widely used programming language in the world and underpins the functioning of many of the most critical institutions in the world. Bringing power of BPF to spreadsheets will enable millions of people to leverage this production proven technology, m
Making eBPF work on Windows - Microsoft Open Source Blog
Toggle share menu for: Making eBPF work on Windows Share Share Making eBPF work on Windows on X X Share Making eBPF work on Windows on LinkedIn LinkedIn Share Making eBPF work on Windows on Facebook Facebook Share Making eBPF work on Windows on Email Email Print a copy of Making eBPF work on Windows Print eBPF is a well-known but revolutionary technology—providing programmability, extensibility, a
はじめに LinuxのeBPFを使ってQUICパケットのDestination Connection IDを元にQUICサーバーのSO_REUSEPORTした特定のソケットへパケットを送り込む試みについて記述します。 ユースケース TCPを扱う典型的なマルチスレッドサーバーの一例としては、各スレッドでlisten、受信データの処理を行います。カーネルがパケットの面倒は全て見てくれるため、アプリケーションはソケットからデータの送受信だけをしていれば良かったのです。QUICはUDPパケットのハンドリングはカーネル任せですがその先は、ユーザースペースで実装する必要があります。UDPでSO_REUSEPORTを使って複数ソケットで同じアドレスで待ち受けすることはできますが、IPアドレス、ポートの四つ組で振り分けされることになります。QUICは概ねこれでも行けそうですが、QUICはコネクションのマイ
5分でわかる！Kubernetes/CloudNative Topics Cilium Projectから公開！ eBPFを用いてセキュリティの可観測性をもたらすTetragon こんにちは。サイバーエージェントの青山真也（@amsy810）です。 弊社のインフラ組織 CIU（CyberAgent group Infrastructure Unit）では、Kubernetesを用いて、「Kubernetes as a Service基盤」や「ML Platform」を実装・運用しています。そんなチームのメンバーで今月から、KubernetesやCloudNative関連の注目している技術や実際に利用しているプロダクトについて紹介していきます。 第1回目は、2022年初の新春企画で取り上げたeBPF関連のプロダクトでもあるTetragonについて紹介します。 eBPFとは？ eBPFは、カ
Today instead of working on CPU profilers, I took the day to experiment with a totally new idea! My idea at the beginning of the day was – what if you could take an arbitrary Ruby process’s PID (that was already running!) and start tracking its memory allocations? Spoiler: I got something working! Here’s an asciinema demo of what happened. Basically this shows a live-updating cumulative view of ru
メモ程度に。 追記 @ 2021/04/20 12:41 inode番号と同じになるようになっているらしい。なので、 cgpath = ARGV[0] puts File::Stat.new(cgpath).ino これだけでいいです... 以下は、構造体キャストの例として残す。 github.com この実装によると name_to_handle_at をつかってcgroupを表すディレクトリ のファイルハンドルを取る ファイルハンドルを以下の構造体にキャストする struct cgid_file_handle { unsigned int handle_bytes; int handle_type; uint64_t cgid; }; そうすると handle->cgid に入ってる という感じっぽい。なので言語を選ばず実装できる。Rubyのようなスクリプト言語ならffi（fiddle
GitHub - YutaroHayakawa/ipftrace2: A packet oriented Linux kernel function call tracer
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
単なるデバッグ情報だけではない「BPF Type Format」（BTF）の使い道：Berkeley Packet Filter（BPF）入門（10） Linuxにおける利用が急速に増えている「Berkeley Packet Filter（BPF）」について、基礎から応用まで幅広く紹介する連載。今回は、最近のBPFの発展に欠かすことのできない重要機能「BPF Type Format（BTF）」について。 Linuxにおける利用が急速に増えている「Berkeley Packet Filter（BPF）」について、基礎から応用まで幅広く紹介する連載「Berkeley Packet Filter（BPF）入門」。今回は、最近のBPFの発展に欠かすことのできない重要機能「BPF Type Format（BTF）」を紹介します。 BPF Type Format（BTF）とは BPFプログラムは主にC
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散アプリケーションの依存発見に向いたTCP/UDPソケットに基づく低負荷トレーシング - ゆううきブログ
Google announces Cilium & eBPF as the new networking dataplane for GKE
Cloudflare architecture and how BPF eats the world
10分でわかる Cilium と XDP / BPF
Unit Testing eBPF Programs | who.ldelossa.is
wachy - A New Approach to Performance Debugging
Linux eBPF Tracing Tools
BPFによるトレーシングが簡単にできる「bpftrace」の使い方
第695回 入門BPF CO-RE | gihyo.jp
eBPF Summit Day 1 Recap
X'masにDeepなPacket処理、いかがですか？ - ainnoooのブログ
Keploy - Open Source Stubs and API Test Generator for Developer
Announcing eBPF 2.0: excelBPF™
eBPFでQUICパケットをルーティングしていく - Qiita
Cilium Projectから公開！ eBPFを用いてセキュリティの可観測性をもたらすTetragon | gihyo.jp
Spying on a Ruby process's memory allocations with eBPF
eBPF的な意味で使えるcgroup idを取る方法 - ローファイ日記
単なるデバッグ情報だけではない「BPF Type Format」（BTF）の使い道