Linuxのメモリ割り当てアルゴリズムを追う Slab Allocation編
はじめに この記事はコネヒトAdvent Calendar2023の24日目の記事です。 前回の記事では、Linuxの主要なメモリ割り当てアルゴリズムの一つであるBuddy Memory Allocationについて詳しく紹介しました。 本記事では、Linuxで使用されているもう一つの重要なメモリ割り当てアルゴリズムであるSlab Allocationに焦点を当てて、その仕組みについて解説していきたいと思います。 ↓ 前編の記事です 前提 前編のおさらい 前編では、Buddy Memory Allocationの基本原理と仕組みについて紹介しました。 このアルゴリズムは、メモリブロックの割り当てと解放を2の冪乗単位で行うことにより、外部フラグメンテーションの発生を削減できると同時に、割り当てと解放のプロセスを高速化できるというものでした。 ビットマップ方式とBuddy Memory All
Buddy memory allocation by bitmap - Qiita
はじめに 組み込みやゲームなど特殊な環境では, 独自のメモリ割り当てが必要になることがあります. ひとつの選択肢として, "Buddy memory allocation"を考えてみます. 良いメモリ割り当ての理想は次になります. 特殊環境で自前に実装する理由は, 3つ目を捨てて, その環境で1と2を追求するということです. 確保・解放が高速に動作する 内部・外部断片化が最小である 環境に応じて最適に動作する 記載するコードは一部を抜き出しています. Buddy system オブジェクトの相方（buddy)を決めて, 処理の効率化を測るシステムになります. "Buddy memory allocation"では, メモリブロックを2分木で管理して, 兄弟の節を相方と考えます. 実装が2分木であるかではなく, 考え方が2分木です. メモリ割り当ての効率化とは, コンパクションの効率化になり
Linuxのメモリ割り当てアルゴリズムを追う Buddy Memory Allocation編
はじめに この記事はコネヒトAdvent Calendar2023の5日目の記事です。 世界中で広く使われているLinuxがどのようなメモリ割り当てアルゴリズムを使って物理メモリを管理しているのか、その仕組みには以前から興味がありました。 そこで、Linuxでメモリ割り当てアルゴリズムとして使用されている、Buddy Memory AllocationとSlab Allocationを自作しているOSに実装したのですが、日本語の記事や情報があまりなく実装するのに結構時間がかかってしまいました。（両者とも日本語版Wikipediaにすら載っていませんでした）なので、日本語の情報が少ないのならばこの機会に残しておこうと思い、この記事を書くことにしました。 本記事では、Buddy Memory Allocationに焦点を当て、その仕組みを紹介していきたいと思います。 ↓ 後編の記事です 前提
第6回 Linux Kernelメモリ管理最新動向［その2］ | gihyo.jp
2012年6月6日～8日にLinuxCon Japan 2012 が開催されます。ここではLinux Kernelの最新技術の発表や議論がいろいろ行われるのですが、このカンファレンスを楽しむ手助けとなる記事を…ということで、最近のLinux Kernelのメモリ管理の以下のトピックについて、2回に分けて紹介しています。 第2回目の今回は、以下のテーマについて説明します。 ファイルシステム、デバイスと連携したエンハンス メモリ資源管理機能（cgroup） CleanCache ファイルシステム・デバイスと連携したエンハンス I/O less dirty throttling Linuxでは「ファイルシステムに書き戻す必要のあるデータを持ったページ」をdirty pageと呼びます。これらのページはファイルシステムにデータを書くまでは破棄できませんから、メモリ回収前にI/Oを行う必要があります
リソース設定(NIC) ～DPDK入門 第6回～ | 技術畑 | 情報畑でつかまえて
DPDKとは？ ～DPDK入門 第1回～ で、DPDKはカーネルをバイパスしてシステムコールを介することなく直接ハードウェアを制御することで、高速化を実現しているということを紹介しました。 Linuxではユーザが直接ハードウェアを制御するプログラムを作成するための、UIO(User space I/O)という仕組みを用意しています。例えば、通常ハードウェアの制御を行うレジスタはユーザがアクセスできないメモリ空間に置かれますが、UIOの仕組みを利用することでユーザ空間のメモリにマッピングされ、ユーザが作成したプログラムから制御することが出来ます。 DPDKでは、UIOを利用して直接NICを制御することで、より高速なパケット処理を実現しています。なお、UIOを利用してNICを制御するようにした場合、NICの制御がカーネルから外れるため、例えばethtool(※1)を利用してNIC情報を参照する
XDPメモ（アーキテクチャ、性能、ユースケース）
はじめに# The eXpress data path: fast programmable packet processing in the operating system kernel 1 を読んだ。 この文章はほとんどこの論文をもとに書いたが、一部ニュース記事を引用している。 eBPF／XDPが流行っているということは、BCC、bpftrace、Facebook Katran、Cloudflare Gatebot などeBPF／XDPを使うプロジェクトのGithub Star数から感じ取れる。 eBPF／XDPには、特殊なハードウェア・ソフトウェアに依存せず、 カーネルの仕掛けとして高速パケット処理を実現できるという強力なメリットがある。 一方であまり弱点を主張するような記事は見当たらないので、実際のところどうなのか感触を知りたい。 XDPを使うとNICデバイスドライバのコンテキス
eBPF - XDP概要 編
1. はじめに 本記事は、eBPFとも関連するXDPについてまとめています。以下、関連記事をいくつか書いていますので、必要に応じて参照して下さい。 関連記事 eBPF - 入門概要 編 eBPF - 仮想マシン 編 eBPF - BCCチュートリアル 編 eBPF - bpftraceチュートリアル 編 eBPF - XDP概要 編（本記事） 2. XDPとは XDP (eXpress Data Path) とは、カーネルに実装されたeBPFベースのネットワークパケット高速処理基盤で、データリンク層（NIC, デバイスドライバ）以上のレベルでパケットのデータを操作する仕組みをeBPF経由でユーザプログラムに提供します。ユーザスペースのアプリケーションまでパケットが到達して処理する場合よりも、パケットバッファのコピーが不要だったり、カーネル・ユーザスペース間のオーバーヘッドを削減出来るなど、
XDP入門
こんにちは．閃光のハサウェイが配信開始されたので早速視聴しました．メッサーがいいですね． 前回もXDP関連の話題でしたが，今回はXDPに入門します． XDPを学習する際のロードマップやつまりどころの解消になればと思います． # 2023-12-30 加筆 本記事を公開して約 2 年が経過しました. この加筆で古くなってしまった情報を修正しています. 差分は このブログの Github の PR (opens new window) を見てください. この 2 年間で eBPF 及び XDP への注目はさらに高まったように感じます. 取得できる情報も充実してきました. 特に O'reilly より発売された 入門 eBPF (opens new window)(原書: Learning eBPF (opens new window)) は非常に充実した内容になっています. 日本語でこれらの情
自動運転カメラの高負荷、その原因はLinuxカーネルのどこに？
はじめに Turing株式会社ソフトウェアエンジニアの堀ノ内です！ 私が所属する自動運転チームでは2024 ~ 2025年に発売予定の自動車に搭載する自動運転システムの開発を行っています。Turingでは車両前方に取り付けられたカメラの画像を入力とし、機械学習モデルが進むべき経路を推論、その経路に沿って実際に車両を動かすための制御信号(ステアリング、アクセル、ブレーキ)をCANで車両に送信することで以下の画像のような自動運転を実現しています。 今回のブログでは以下について記載し、私達のチームの仕事内容について知って頂くきっかけになればと思います。 Turingの自動運転システムの紹介 GMSLカメラの評価と発生した問題 Linuxカーネル及びドライバのデバッグ Turingの自動運転システム Turingでは「カメラ画像入力 → 機械学習モデルで経路を推論 → 車両制御」の流れを実現するた
Linux Magic SysRq Key 調査 - Qiita
■ はじめに Magic SysRq Key (以降、SysRqKey と省略) とはシステムの障害時やデバッグ等で利用できる Linux カーネルの機能 です。キーボード上から Alt + SysRq + b を実行することでシステムを再起動させたり、Alt + SysRq + c で意図的にカーネルパニックを発生させたり等、その他にも様々な機能を備えています。 前々から SysRqKey に興味があった (勉強したかった) ので、使い方と機能と実装について調査しました。調査は主にv4.19 時点の公式ドキュメント (Linux Magic System Request Key Hacks) とソースコードから行いました。 ■ 使い方と機能を知る まずは、使い方と機能について調査しました。 1. 使い方と機能の要約 SysRqKey はコマンドラインとキーボードの両方から使用可能 コマン
Bitbakeをpythonから使おう - Qiita
はじめに yoctoを使ってカスタムしたlinuxをビルドをビルドする仕事してます。 (僕は最近全然仕事してないけど) この仕事では、例えば以下のようなリクエストが来ます。 特定のbbclass(core-image.bbclassとか)を継承したファイルをリストアップしてほしい すべてのパッケージのある変数(例えばPE,PV,PR)をリストアップしてほしい 特定のパッケージ(例えばgcc)にあたってるbbappendファイルをリストアップしてほしい 面倒くさくない？ 僕はgrepしたくないし、時間かかるからビルドもしたくないんだよ... Bitbakeをpythonから使おう 面倒臭いので、なんとかする方法を調査しましょう。 まず、bitbakeコマンドによるビルドの仕組みがざっくりこんな感じ。 このTinfoilがすごい複雑なので使いづらいんですね。実際のコードはここ 一方、serve
yoctoに入門してみる - simotin13's message
追記 こちらの記事は2019年に書いた記事でしたが、最近のyoctoでビルドするとこの記事の手順通りにしてもSDカードからLinuxを起動できなくなっていました。(2023年7月時点) kirkstoneでビルドしたイメージを動かす記事を改めて書きましたのでBeagleBoneBlackで動かす部分については以下のリンクの記事の方を参考にしてください。 mcommit.hatenadiary.com yoctoの基本的な知識についてはこちらの記事に書いてあることからあまり変わっていませんのでこちらの記事を読んで頂ければと思います。 (追記ここまで) ちょっと前にyoctoについて色々と調べる機会があったので理解している範囲で書いておきたいと思います。 yoctoに関する基本的な知識とBeagleboneBlack用のイメージをビルドし動かすまでの手順を書いたので少し長くなりました。 目次
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自作OSのメモリ管理をBuddy Systemで実装してみて学んだこと | ドクセル
The BPF-programmable network device
NetKit Device
パケット処理の独自実装や高速化手法の比較と実践 独自パケット処理の実装方法の解説（XDP）
Express Data Path - Wikipedia
Scaling in the Linux Networking Stack
Using RCU’s CPU Stall Detector — The Linux Kernel documentation
What is RCU? -- "Read, Copy, Update" — The Linux Kernel documentation