アプリケーションの巨大化で重要性を増す“hugepage” TLBヒット数を上げるLinuxのメモリ管理機能
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。堀口氏からは「hugepage」の概要とカーネルコミュニティの開発動向について。 TLBの利用効率を上げるhugepage 堀口直也氏：「Linuxのhugepageの開発動向」について発表します。まず簡単に自己紹介です。私は堀口直也と申します。OSSコミュニティでの開発を軸に技術調査や評価、サポーターに従事しています。これまではカーネルコミュニティで、メモリ管理のコミュニティを中心に10年以上カーネル開発をしてきました。ここ数年はブロックチェーンのHyperledgerプロジェクトにも参加していて、ここでもOSSコミュニティで活動しています。 本日のLT（ライトニングトーク）は最初に「hugepage」の概要を話して、そのあとカーネルコミュニティの開発トピックについ
eBPF and Kubernetes: Little Helper Minions for Scaling Microservices - @kanatakita's blog
KubeCon + CloudNativeCon Europe 2020 2日目 のセッションである eBPF and Kubernetes: Little Helper Minions for Scaling Microservices についてです。 スライド 以下のような内容でした。 eBPF についての初学者向けな説明 eBPF の歴史 eBPF の Kubernetes CNI 実装である Cilium について ※ 時系列を雑に日本語で起こしましたが知らないことばかりで都度調べながらの作業でした。 結局ほとんどスライドのままな気がしますが、それでも他の記事以上に誤りが多い気がするので間違っている箇所があったら優しく指摘してください・・笑 Challenges from OS kernel side 前半は eBPF を Linux に入れるまでの話？正直良くわからなかった・・
linux-sched-history.pdf - Speaker Deck
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
perf, ftraceのしくみ - 睡分不足
Linuxのトレーサーであるperfやftraceのツールの使い方に関する情報は結構ありますが，構造に関してはあまり見つけられなかったため，ここに簡単に調べたことをまとめようかと思います．（ツールの使い方の説明はあんまりしないです．） この文章はLinux 4.15のソースに基づいています． 全体像 ftrace function trace tracepoint (static event) kprobe (dynamic event) その他のtracer trace-cmd perf PERF_TYPE_HARDWARE, HW_CACHE, RAW PERF_TYPE_SOFTWARE PERF_TYPE_TRACEPOINT PERF_TYPE_BREAKPOINT USDT (SDT Event) perf-tools perf ftrace straceとの比較 その他 pe
Linux Capability - ケーパビリティについての整理 - ローファイ日記
Man page of CAPABILITIES を読んで自分なりに整理する。メモ気分で書いているので言葉足らず/用語が曖昧 のところがあればご指摘ください。 3つのケーパビリティセット Inheritable execve(2) (以下、単にexecveと呼ぶこともある) の前後で引き継がれるケーパビリティ Permitted 実効ケーパビリティセットに追加することができるセット。ここから落ちたケーパビリティはどう頑張っても実効状態にできない Effectve 実効ケーパビリティセット。実際にそのスレッドで利用できるケーパビリティの集合 Permittedのセットの中から、実際に有効になっているEffectveのセットをピックアップするイメージ。 また、Inheritableはexecveしなければ関係することはない。 スレッドケーパビリティセット それぞれのスレッドは上述の三つのケーパ
eBPF の紹介 - Qiita
富士通の非公式Advent Calendar 2018 9日目 の記事です。記事の内容は個人の見解であり、所属する組織を代表するものではありません。 はじめに Linux kernel の比較的新しい機能である eBPF について簡単に調べてみたので、その概要と使い方を紹介します。 eBPF は extended Berkeley Packet Filter の略で、ざっくり言うと、ユーザ空間で作成したプログラムをカーネルに送り込んで、独自の命令セット を持つカーネル内部の仮想マシン(以下VM)上で実行できる機能です。名前の通り、eBPF は BPF(Berkeley Packet Filter)と呼ばれる古くからあるパケットフィルタの技術を拡張したもので、パケットフィルタに限らず OS 用途一般に使えるようになっています。 システムに危険を及ぼす可能性のあるコードは、事前のチェックで検出
Why is the kernel community replacing iptables with BPF?
Apr 17, 2018Why is the kernel community replacing iptables with BPF? Author Note: this is a post by long-time Linux kernel networking developer and creator of the Cilium project, Thomas Graf The Linux kernel community recently announced bpfilter, which will replace the long-standing in-kernel implementation of iptables with high-performance network filtering powered by Linux BPF, all while guarant
naoyaのはてなダイアリー - 負荷とは何か
調べごとをしたので blog に書いて理解を深めようのコーナーです。長文です。 Linux でシステム負荷を見る場合にお世話になるのが top や sar (sysstat パッケージに同梱されてるコマンド) などのツールです。 top ではシステム統計のスナップショットを見ることができます。今システムがどういう状態かなーというときは top が便利。 top - 08:16:54 up 3 days, 14:43, 6 users, load average: 0.18, 0.07, 0.03 Tasks: 43 total, 2 running, 41 sleeping, 0 stopped, 0 zombie Cpu(s): 18.2% us, 0.0% sy, 0.0% ni, 81.8% id, 0.0% wa, 0.0% hi, 0.0% si一方の sar では10分ごとのシ
送受信 - Linuxカーネルメモ
1. 受信処理 1.1 従来の受信処理 ネットワークインタフェースで受信したパケットは、デバイスドライバのH/W割り込み処理処理で刈り取られる。デバイスドライバは受信したパケットをカーネルの受信キューに積み、ソフトウェア割り込みを発生させる。 受信ソフトウェア割り込みのハンドラは、受信キューに積まれているパケットを取りだし該当プロトコルの受信ハンドラを呼び出す。 デバイスドライバの受信処理が受信キューにパケットを積むだけで、受信処理のメインはソフトウェア割り込み処理で実装しているのは、H/W割り込みの処理を極力短くしてシステムのレスポンスを向上させるため。 受信処理の流れを図1に示す。 1. 従来の受信処理ではデバイスドライバがネットワーク層にパケットを渡す際、netif_rx()を使用する。 2. ソフトウェア割込みを発生させる際、poll_listには仮想的なnet_device(ba
帰ってきたCon Kolivas、大論争を呼ぶの巻（3/3） － ＠IT
9月版 帰ってきたCon Kolivas、大論争を呼ぶの巻 小崎資広 2009/10/14 本邦初？ あまり知られていないCFS概略 さて、ここでMikeの改善の解説に入る前に少し話を脱線して、CFSの概略について説明しましょう。CFSはドキュメントが非常に少なく（注5）、いきなり内部パラメータの解説をしても全然楽しくない記事になってしまうので、若干数式が多くなりますが、ご勘弁ください。
KMC Staff Blog:Androidのinit
2010年12月09日 Androidのinit Androidで一番最初に起動するユーザープロセスであるinitについて調べたのでそのメモ。 (注：この記事はAndroid 2.2のソースコードに関するもの。） /init initはルートディレクトリの直下に置かれている。すなわち、/init 通常のLinuxではinitは /sbin/init Linuxカーネルはデフォルトの設定では最初のプロセスを /sbin/init /etc/init /bin/init /bin/sh の順に探しにいく。(kernelのinit/main.c init_post参照) このため、Androidを起動するときにはカーネルのブートパラメータに "init=/init" を追加して明示的にinitのパスを指定しなければならない。それを忘れると "No init found. Try passing
Æüµ/2009-05-02/kgdb ¤ò»È¤Ã¤Æ¤ß¤¿ - ¥Æ¥¥¹¥ÈÈÇ - BAK
ÀèÆü¡¤¥Ë¥³Æ°¤Ë¤³¤ó¤ÊÆ°²è¤òÅê¹Æ¤·¤Æ¤ß¤¿¤ó¤À¤±¤É¡¤¡Öʸ»ú¤¬Æɤߤˤ¯¤¤¡×¤È¤¤¤¦°Õ¸«¤¬Â¿¤«¤Ã¤¿¤Î¤Ç¡¤¥Æ¥¥¹¥È¤Ëµ¯¤³¤·¤Æ¤ß¤Þ¤·¤¿¡¥ ¥¿¡¼¥²¥Ã¥È¥×¥í¥°¥é¥àÆâ¤Ë¥¹¥¿¥Ö¤È¸Æ¤Ð¤ì¤ë gdb ¤Î¼êÀè¤òÁȤ߹þ¤ß¡¤Ê̤Υޥ·¥ó¤Ç gdb ¤òµ¯Æ°¤·¥Ç¥Ð¥Ã¥°¤ò¹Ô¤¦ÊýË¡¤Ï¡¤¥ï¥ó¥Á¥Ã¥×¥Þ¥¤¥³¥ó¤Î¥×¥í¥°¥é¥à³«È¯¤Ê¤ó¤«¤Ç»È¤ï¤ì¤Æ¤¤¤Þ¤¹¡¥ ¤³¤Î¡Ö¥¿¡¼¥²¥Ã¥È¥×¥í¥°¥é¥à¡×¤¬ Linux ¥«¡¼¥Í¥ë¤Î¾ì¹ç¡¤¡Ö¥¹¥¿¥Ö¡×¤ËÁêÅö¤¹¤ë¤â¤Î¤¬ kgdb ¤Ç¤¹¡¥ kgdb ¤Ï x86 ¥¿¡¼
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
Charming Python: Functional programming in Python, Part 3
IBM Developer
IBM Developer
IBM Developer
IBM Developer
IBM Developer
IBM Developer