ファイルシステムサイズの拡張時にデータベースアクセスがスローダウンする問題の解決 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、技術顧問のsatです。 サイボウズでは、ファイルシステムサイズ拡張時にデータベースアクセスがスローダウンするという問題に長年悩まされてきました。本記事では運用本部の藤田と深谷がこの問題を解決した流れについて報告いたします。問題を解決するために2人はLinuxカーネルを修正しました。修正は社内に閉じたものではなく、執筆当時の最新 Linuxカーネルであるv4.17にマージされています。 問題 以下の操作の後にデータベースへのアクセスが一時的にスローダウンする ブロックデバイスのサイズを拡張する 上記デバイス上にあるファイルシステムのサイズを拡張する 原因 linuxカーネルはブロックデバイスのサイズ変更(縮小および拡張)時に、当該デバイス上にあるファイルシステムのページキャッシュ(後述)を無効化する*1 解決方法 ブロックデバイスのサイズ拡張時にはページキャッシュを無効
Why is the kernel community replacing iptables with BPF?
Apr 17, 2018Why is the kernel community replacing iptables with BPF? Author Note: this is a post by long-time Linux kernel networking developer and creator of the Cilium project, Thomas Graf The Linux kernel community recently announced bpfilter, which will replace the long-standing in-kernel implementation of iptables with high-performance network filtering powered by Linux BPF, all while guarant
Sequential File Prefetching In Linux
Earning a degree from the Department of Electrical and Computer Engineering at Wayne State University gives you the tools needed to create a faster smartphone, a thinner laptop or a more powerful automotive navigation system. Electrical and computer engineers design and build the gadgets people use every day, as well as the computer hardware within larger systems such as airplanes and robotic asse
【RHEL7】sysctlのカーネルパニックオプション - のぴぴのメモ
sysctlのカーネルパニックオプション panicの整理 panic系パラメータの関係 それぞれのパラメータの挙動 kernel.panic kernel.panic_on_unrecovered_nmi kernel.unknown_nmi_panic kernel.panic_on_io_nmi kernel.panic_on_warn kernel.softlockup_panic kernel.hung_task_panic kernel.panic_on_stackoverflow vm.panic_on_oom sysctlのカーネルパニックオプション ちょいとカーネルパニックをどう設定すればよいかという話があって、ためしにsyscltをpanicでgrepすると、意外にというかpanicに関するパラメータがバラバラ出てきてどうすればよいかイマイチわからない。 # sysct
TIME_WAITに関する話
3. 自己紹介 - まぁまぁ MySQL でご飯食べてます - 一時期は Resource Monitoring や KVS にも 力入れてました - ネットワーク的には素人です - Linuxとハードウェアは嗜む程度 - disk I/O にはむかしから興味あります - その他 slideshare はこちら - http://www.slideshare.net/takanorisejima/ 4. 本日のお題 - kernel 新しくしたりすると、TCP的に意識したほ うが良い変化が見つかるので - 今日は、Webアプリケーションサーバの観点か ら、 connect(2) する際に気になる TIME_WAIT について、書いてみようかと思います - 有識者からのマサカリを、強く歓迎いたします 5. 最初に参考資料 - この二つの記事を読んでいただけば、それで概 ね良いと思うんですが
Cgroup2 Thread Support Added For Linux 4.14 - Phoronix
Cgroup2 Thread Support Added For Linux 4.14 Written by Michael Larabel in Linux Kernel on 5 September 2017 at 11:40 AM EDT. 3 Comments Tejun Heo has submitted the control group changes for the Linux 4.14 kernel. Notable to the cgroup work for Linux 4.14 is that the thread mode was finally merged for cgroup v2. The kernel documentation explains this threaded mode for cgroup2: cgroup v2 supports thr
技術顧問に聞いてみた──小崎資広さん、武内覚さんインタビュー - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。コネクト支援チームの風穴（かざあな）です。 この度、あの小崎資広さん、武内覚さんに、サイボウズの技術顧問に就任していただくことになりました。 小崎さんは、日本を代表するLinuxカーネル開発者の一人です。また武内さんも、Linuxカーネル開発者として知る人ぞ知る存在で、最近では、AMD Ryzenプロセッサの問題を追究したことでも注目を集めました。 ということで、さっそくお二人にお話を伺ってきました。 サイボウズSREチームのメンバーと（前列左から4人目が小崎資広さん、同5人目が武内覚さん） ──そもそも、このお話の経緯は？ 小崎さん（以下、敬称略）：山本さん（編注：山本泰宇、サイボウズ執行役員・運用本部長）から、「技術顧問になっていただけませんか？」とオファーをいただきまして。 ──それまでは、山本とは知り合いでした？ 小崎：以前、2、3回、お会いしたことがあり、お名前は認識
Ryzenにまつわる2つの問題 - 覚書
NOTE1: 2017/8/12に2つ目の問題について更新しました。ついに両方の問題が解決しました。 NOTE2: 2つ目の問題についてはすべての経緯をまとめた書籍があります。 4月にRyzenを積んだデスクトップマシンを買いました。その上で日課であるカーネルビルド&テストをした*1ことをきっかけに、2つの問題が発生しました。先代のCore i5を積んだマシンでは起きなかった現象です。 このエントリは自分用のメモがてら、新しいことがわかれば随時更新していきます。後者については9月に開催されたkernelvm北陸にて、本ブログには書かれていない解析の詳細などについて発表してきました。 Ryzen segv battle from Satoru Takeuchi www.slideshare.net 環境 ハードウェア CPU: Ryzen 1800X Motherboard: ASUS PR
Linux Load Averages: Solving the Mystery
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
カーネルエクスプロイト入門 - Linuxカーネル解析の基礎 - - るくすの日記 ~ Out_Of_Range ~
0. はじめに 本記事は、Linuxを対象としたカーネルエクスプロイトの入門記事です。 カーネルエクスプロイトというのは、Linuxや*BSD、Windowsを始めとするカーネル自身の脆弱性を突くエクスプロイトです。 基本的にカーネルはシステム内で最高権限を持つ特権モードで動作しているので、ここを悪用されるとシステムの大部分(ほぼ全て)を掌握されてしまいます。 エクスプロイトと言うと、普通はユーザー空間で動作しているアプリケーションのバグをつく物が多いですが、これだと限られたレベルの権限しか奪えません。 SELinuxやjailを始めとする、OSレベルでの保護機構に阻まれるとたちまち効力を失ったりします。 しかし、カーネル自体の脆弱性をつくカーネルエクスプロイトを利用すると最高権限での任意コード実行が可能なため、大抵の保護機構はものともしません。 このカーネルエクスプロイトが特に効力を発揮
Linuxカーネル4.11リリース、プラガブルなI/OスケジューラやSSD向けスワップ機能などを実装 | OSDN Magazine
Linux開発者Linus Torvalds氏は4月30日、「Linuxカーネル4.11」のリリースを発表した。perfツール、マルチキューブロックレイヤーなどで強化が加わっている。Intelの最新のAtomプロセッサ「Gemini」もサポートした。 Linuxカーネル4.11は、2月後半に公開されたLinuxカーネル4.10に続く最新版。8回のリリース候補版（RC）を経ての公開となった。今回のリリースにおける大きな変更点としては、プラガブルなI/Oスケジューラフレームワークの導入やSSD向けのスケーラブルなスワップ機能、MDレイヤーにおけるRAID4/5/6向けのジャーナリングサポート、statシステムコールの代替となるstatxシステムコールの導入、新たなperf ftraceツールの導入、OPALドライバやSMC-Rプロトコルのサポート、VGAコンソールにおけるスクロールバックバッフ
カーネルの観点から見たLinuxKit - Qiita
はじめに Docker社はDockerCon2017において、Dockerコンテナの実行にフォーカスした軽量Linuxである、LinuxKitをリリースしました。 以下関連URLです。 Docker、「LinuxKit」を発表。コンテナランタイムのためだけにゼロから開発されたセキュアなLinux Subsystem。DockerCon 2017 ANNOUNCING LINUXKIT: A TOOLKIT FOR BUILDING SECURE, LEAN AND PORTABLE LINUX SUBSYSTEMS 本記事はLinuxKitについて網羅的な説明をすることではなくて、LinuxKitに同梱されているカーネルがどのようなものかをざっと眺めることです。なぜカーネルだけなのかというと、単に私がカーネル屋さんなのでカーネルに興味があっただけです。 本記事のLinuxKitの対象バージ
システムコール、プロセスとtask_struct構造体
2013年12月26日 情報科学類 オペレーティングシステム II 筑波大学 システム情報工学研究科 コンピュータサイエンス専攻, 電子・情報工学系 新城 靖 <yas@cs.tsukuba.ac.jp> このページは、次の URL にあります。 http://www.coins.tsukuba.ac.jp/~yas/coins/os2-2013/2013-12-26 あるいは、次のページから手繰っていくこともできます。 http://www.coins.tsukuba.ac.jp/~yas/ http://www.cs.tsukuba.ac.jp/~yas/ ■今日の大事な話 システム・コールとライブラリの共通点と相違点 トラップ命令 strace コマンド プロセスの構造 PID (process identifier), UID, groups task_struct 構造体 状態(
仮想GPUに初期対応した「Linuxカーネル4.10」が公開 | OSDN Magazine
Linus Torvalds氏は2月19日、Linuxカーネルの最新版「Linuxカーネル4.10」を公開した。仮想GPUの初期サポートといった機能が導入されている。 Linux 4.10は2016年12月中旬に公開した「Linux 4.9」に続くもので、8回のリリース候補（RC）を経ての正式版公開となった。Torvalds氏は「4.9が大きなリリースとなったこともあり、（4.10は）かなり静かになると予想していたが、結局は平均と変わらないリリースとなった」とコメントしている。マージを除いたコミットは1万3000件あったという。 仮想GPUサポートとして、Mediatedパススルーを持つGPU仮想化ソリューションであるIntel GVT-g for KVM（KVMGT）に対応した。最新のVFIO Mediated Deviceフレームワークをベースとしており、ダイレクトなパススルーとは異な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxのユーザーランドをinitから全てまるごとgolangで書く
https://elinux.org/images/7/73/CELFJP-Jamboree63-handa-ja.pdf
Netdev | Netdev 2.2 - Session
https://events.static.linuxfound.org/sites/events/files/eeus13_wheeler.pdf
Netdev | Netdev 2.1
https://www.thomas-krenn.com/de/wikiDE/images/d/d0/Linux-storage-stack-diagram_v4.10.pdf