最新のRHEL9.3系に対応した「Linuxサーバー構築標準教科書（Ver.4.0.0）」LPI-Japanが無料公開。独習で仮想マシンやLinuxの導入、WebサーバやDNSサーバなど構築
Linux技術者認定「LinuC（リナック）」などを実施する特定非営利活動法人エルピーアイジャパンは、実習を通してLinuxサーバー構築の知識を学べる学習用教材「Linuxサーバー構築標準教科書」バージョン4.0.0の公開を発表しました。 「Linuxサーバー構築標準教科書」はクリエイティブ・コモンズ・パブリック・ライセンス「表示 - 非営利 - 改変禁止 4.0 国際 （CC BY-NC-ND 4.0）」の下で公開されており、PDF版とEPUB版は無料でダウンロード可能です（Kindle版と製本版は有料で提供されています）。 独学で読み進められサーバの動作原理やプロトコルを理解 Linuxサーバー構築標準教科書の内容は現時点（2024年2月）で最新のLinuxディストリビューションであるAlmaLinux 9.3、すなわちRed Hat Enterprise Linux 9.3系を前提と
ip コマンド チートシート for Red Hat Enterprise Linux
ip コマンド チートシート for Red Hat Enterprise Linux IP クエリ サブコマンド 説明およびタスク addr (アドレスの省略形) IP アドレスとプロパティ情報を 表示する ip addr すべてのアドレスの情報を表示する ip addr show dev em1 em1 デバイスの情報を表示する link すべてのネッ トワークインターフェイスの状態を管 理および表示する ip link すべてのインター フェイスの情報を表示する ip link show dev em1 em1 デバイスの情報を表示する ip -s link インターフェイス統計を表示する route ルーティ ングテーブルを表示および変更する ip route カーネルのルートエントリをすべて表示する maddr マルチキャストの IP アドレスを管理および表示する ip madd
Linuxのtop コマンドの見方 ~メモリやload averageの単位,定義,目安~
top コマンドは CPU/メモリの利用状態を全体、および各プロセスごとに確認することができます。 例えば以下のように表示されます。表示は 3 秒ごとに更新されます。 top - 00:47:32 up 2:37, 2 users, load average: 3.01, 1.52, 0.47 Tasks: 118 total, 2 running, 116 sleeping, 0 stopped, 0 zombie %Cpu(s): 12.5 us, 6.9 sy, 0.0 ni, 99.7 id, 0.3 wa, 0.0 hi, 0.0 si, 0.0 st MiB Mem : 3736.1 total, 297.6 free, 235.2 used, 3203.3 buff/cache MiB Swap: 820.0 total, 812.5 free, 7.5 used. 3267
Linux システムコール 徹底入門
Linux システムコールについて調べたことをまとめる。システムコールの仕組みを理解すると、 OS とアプリケーションがどのように連携して動いているのかを理解できるようになります。 システムコールは CPU に依存する処理が多いため、 x86_64 に絞ります。 検証環境]# cat /etc/redhat-release CentOS Linux release 8.0.1905 (Core) ]# uname -a Linux localhost.localdomain 4.18.0-80.11.2.el8_0.x86_64 #1 SMP Tue Sep 24 11:32:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux ]# cat /proc/cpuinfo | head processor : 0 vendor_id : GenuineInte
OSはどうやってP-coreとE-coreを使い分けているのか - Blog posts by @retrage
Alder Lake以降のIntel CPUでは、P-coreとE-coreの2種類のコアが搭載されている。 P-coreは性能重視、E-coreは省電力重視という位置づけで、OSがうまくこれらのコアを使い分けることで、消費電力と性能の両立が図られている。 ここまでの話は広く知られているが、実際にどのようにしてOSに対してコアの使い分けをさせているのかの実装レベルでの解説は (少なくとも日本語では) ほぼ存在しないようなので調べてみた。 OSから見たP-coreとE-core OSの役割の一つとしてプロセススケジューリングがあり、どのプロセスをいつどれぐらいの期間どのCPUコアで実行するかを決める。OSができるだけ効率よくプロセスをスケジューリングするためには、CPUコアの性能や消費電力の違いを考慮したスケジューリングが必要になる。そこで、Intel CPUではOSに対して次の2つの情報を
Linux におけるファイル I/O の基礎
すべてがファイルというモデルの Linux (Unix) において、ファイル I/O (以降単に I/O と書く) を知っておいて損はない。 この記事では、基本的なファイルと関連する I/O について、対応する Linux システムコールも併せて説明する。 次回はこれらを実際に Linux 上で確認する予定。 ファイルUnix におけるファイルとは、普通「通常ファイル」のことを指し、バイトがリニアに並んだデータ (byte stream) のことである。 ファイル内のバイトは読み書きが可能で、指定されたバイトから開始する。この開始バイトはファイル内の「位置」と考えることができ、ファイルポジションまたはファイルオフセットという。 通常ファイルとは別に、スペシャルファイルというファイルとして表現されたカーネルオブジェクトがある。Linux では、スペシャルファイルとしてデバイスノード・名前付き
[翻訳] 仮想ネットワークのための Linux network interface まとめ
[翻訳] 仮想ネットワークのための Linux network interface まとめ Published at 2018-01-28 | Last Update 2020-10-28 注意 自分用の勉強メモです。 この記事は、以下の記事から翻訳されています。 Introduction to Linux interfaces for virtual networking Macvlan vs Ipvlan Bridge vs Macvlan 必要な部分しか翻訳していないため、不明な点がある場合は、元のテキストを参照してください。 注意 Bridge Bonded interface Team device VLAN (Virtual LAN) VXLAN (Virtual eXtensible Local Area Network) MACVLAN IPVLAN IPVLAN mode
CPU Steal Time 入門
CPU Steal Time に関しては、多くの誤解が広がっているように思えます。例えば、同一ホスト上で稼働する他の VM が、本来自分に割り当てられるべきCPUリソースを盗んだ量を示すメトリクスだとか、CPUリソースの取り合いが発生していることを示すメトリクスだとか、など。設定などによっては、仮想環境側が CPU リソースを過剰に割り当ててしまう傾向にあるのは事実なのですが、CPU Steal Time を見るだけでは端的に "盗まれた" などという結論にいたることはできません。 CPU Steal Time とは、仮想マシンが割り当てられる CPU リソース以上のパフォーマンスを発揮しようとしている分を 計上したメトリクスであると言えます。本来であれば、Steal Timeという名前ではなくて、kernel/sched/cputime.cにのコメントにあるように、involuntary
Red Hat Enterprise Linux 9 Betaでました - 赤帽エンジニアブログ
森若です。 2021年11月4日Red Hat Enterprise Linux 9.0 Betaが出たので情報まとめです。 RHEL 8と同じく、以下4種類のアーキテクチャに対応しています。 Intel/AMD64 (x86_64) ARM 64-bit (aarch64) IBM Power LE (ppc64le) IBM Z (s390x) 公式のアナウンスはこちらです。 www.redhat.com 主な特徴 RHEL 8.5 betaと比較すると、以下が大きな違いでしょうか。 OpenSSL 3が使われている cgroup v2がデフォルト LTO(Link TIme Optimization)が有効 Python 3.9 SSHでrootユーザに対してパスワード認証が不可になっている (従来もdeprecatedだった)network-scriptsが削除 もちろんその他のデ
Red Hat Enterprise Linux 8 で 10年維持されるパッケージはどれ? - 赤帽エンジニアブログ
レッドハットの森若です。 Red Hat Enterprise Linux 8.2もでて、「そろそろRHEL8を使ってみようかな」という人も増えてきたのではないかと思います。 RHEL 8 ではアプリケーションストリームが導入されていますから、一部パッケージは10年の標準的なライフサイクルではなく、2年から5年程度の短い期間だけ維持されます。 ではどのパッケージがいつまでサポートされるのでしょうか? この記事ではその調べ方をご紹介します。 その前にまず2点ほど前提知識をご紹介します。 Compatibility Level Red Hat Enterprise Linux では、RHEL5の頃から Application Compatibility Guideを公開し、各パッケージについての互換性維持を4段階のレベルに分けています。 RHEL 7までは、以下のようになっていました。 Com
Red Hat Enterprise Linux 9 で 10年サポートされるパッケージはどれ? - 赤帽エンジニアブログ
レッドハットの森若です。 この記事は、RHEL 8むけの以下記事のRHEL9版です。 rheb.hatenablog.com RHEL 9ではどのパッケージがいつまでサポートされるのでしょうか? この記事ではその調べ方をご紹介します。 (※注意: サポート期間等は変更される場合があります。スクリーンショット等は執筆時点のものです。) その前にまず2点ほど前提知識をご紹介します。 Compatibility Level Red Hat Enterprise Linux では、RHEL5の頃から Application Compatibility Guideを公開して、アプリケーションの互換性を維持するために 考慮する必要があるポイントをまとめています。この中で各パッケージについての互換性維持を4段階のレベル(Compatibility Level, 以下 CL)に分けています。 RHEL 9
Python(とGo)で複数プロセスから一つのファイルにログを書き込んでいいのか？
概要 マルチプロセスでレスポンスの処理を行う（1リクエストにつき1プロセスがレスポンスの処理を行う）PythonのWEBフレームワーク[1]でAPIサーバーを実装している際、各プロセスから一つのファイルにログを書き出しても、行が上書きされる・順番が前後するといった不整合がおきないのか、という疑問がわきました。（ファイルは各プロセスで独立にopenするものとします。） Pythonのロギングに関する公式ドキュメントには、「複数プロセスから1ファイルへのロギングはサポートしていないから別の方法で工夫しろ」と書いてあるのですが、別の記事では「書き込むログの長さが短ければ不整合はおきない」と記述されていたり、よくわからなくなったので自分で調べてみました。 結論としては、Python標準のloggingモジュールでログの長さが2,147,479,552(=0x7ffff000)バイト以下なら「原子性
Netflixはどのようにして800Gb/sものデータ転送を実現しようとしているのか？
近年は動画ストリーミングサービスの利用者が増加しており、インターネットトラフィックの大部分を占めていると指摘されています。世界最大級の動画ストリーミングサービスであるNetflixが、日々大量のデータを全世界のユーザーに送信するためにどのような工夫を凝らしているのかを説明するスライドを公開しています。 2022-Streaming-Summit-Netflix.pdf (PDFファイル)http://nabstreamingsummit.com/wp-content/uploads/2022/05/2022-Streaming-Summit-Netflix.pdf Netflixは800Gb/sもの動画データを1つのサーバーで送信するシステムの構築を目指し、長い道のりを歩んできました。 Netflixのワークロードでは、動画を「静的メディアファイル」として送信しており、すべてのコーデック／
あなたの知らない time(1) の世界 - kuenishi's blog
自分が書いたプログラムのメモリ使用量を測定したいことがある。プログラムがOOM Killerによってお亡くなりになった場合や、ページフォルトをなくして高速化したい場合などだ。定常的に起動するサーバーのプログラムなら、sarや meminfo など（今なら Datadog とかだろうか）を使ってじーっと見つめるわけだ。もっとモダンにやるなら perf や DTrace を使ってもよいかもしれない。しかしこれらのツールは基本的にプロセスIDを渡してサンプリングして外から覗く方法だ。 わたしのユースケースはデーモンプロセスではなく、 main から入って必要な計算をして、それが終わったら main を抜けるバッチジョブ（単にコンソールから実行して終わるまで待つ、いわゆる "Hello world!" 的なやつ）だ。これだと、プログラムが起動して終わるまでそこそこの時間で終わってしまって、外部プロ
Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった - knqyf263's blog
最初に断っておくと今回は万人向けの記事ではないです。面白かったので自分が忘れないようにまとめているだけです。 本記事の位置付け はじめに 発見経緯 CRCのエラー HTTPアクセスログ 壊れたgzipのtrailerを見てみる 壊れたファイルの法則性 月次ログファイルの生成 Linuxカーネルのバグの可能性 バグ混入の歴史 ログ破損の原因 8バイトの謎 PoCの制約 まとめ 本記事の位置付け Dirty Pipe（CVE-2022-0847）三部作の最後です。ダークナイト三部作で言うとダークナイト ライジングにあたります。ダーティとダークって似てませんか。 spliceを使って高速・省メモリでGzipからZIPを作る 20分で分かるDirty Pipe（CVE-2022-0847） Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった（本記事） 上の1, 2を前提知識と
prilmit についての調べ物 - hibomaの日記
社内 slack で prlimit の話題があがったので、どういうもんだったかと調べた prlimit(2) システムコール 任意の pid のリソースリミットを変更するシステムコールである。 ulimit, setrlimit, getrlimit, /proc/$pid/limits, /etc/security/limits.conf, pam_imits.so ... と関連キーワードを並べると「ああ、リソースリミットって あれ のことですね」と分かるよね #include <sys/time.h> #include <sys/resource.h> int prlimit(pid_t pid, int resource, const struct rlimit *new_limit, struct rlimit *old_limit); 一見、複雑そうなインタフェースに見えるが
How do I split a "/proc/*/environ" file in separate lines?
I'm trying to get the content of any /proc/*PID*/environ file in more readable format. I'm able to do that in the way shown below, but I'm sure this isn't the proper way. $ cat "/proc/$(pgrep gnome-session -n -U $UID)/environ" USER=spasTEXTDOMAIN=im-configXDG_SEAT=seat0XDG_SESSION_TYPE=waylandSHLVL=1QT4_IM_MODULE=ximHOME=/home/spasDESKTOP_SESSION=ubuntuGNOME_SHELL_SESSION_MODE=ubuntuDBUS_SESSION_B
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How do I measure separate CPU core usage for a process?
Sorting the output of ps does not work
What does the double-asterisk (**) wildcard mean?