The rapid growth of io_uring [LWN.net]
Benefits for LWN subscribersThe primary benefit from subscribing to LWN is helping to keep us publishing, but, beyond that, subscribers get immediate access to all site content and access to a number of extra site features. Please sign up today! One year ago, the io_uring subsystem did not exist in the mainline kernel; it showed up in the 5.1 release in May 2019. At its core, io_uring is a mechani
One-liners | Basic | Cheat sheet | Linux Command Library
$ wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com
Linuxがブートするまで
普段Linuxを使っていながら、vmlinuzやinitrd.imgというファイルは何なのか、 あやふやにしか理解していなかったので、一通りLinuxマシンのブートの仕組みを 勉強してみた結果を書き留めておく。なお、BIOSとGRUB Legacyの環境を前提としている。 EFIやGRUB2を使った環境については、今後いずれ勉強していきたい。 基本的にOSの起動は、単純・低機能なプログラムが、より複雑・高機能なプログラムを 読み込み起動するという処理を連鎖的に行う仕組みになっている。 Linuxでは、下記のプログラムが順に起動していく: BIOSブートローダ (GRUB)Stage 1Stage 1.5Stage 2LinuxカーネルInit以下では、それぞれのプログラムについて順に要約して述べていく。 1. BIOS現在一般的なx86/x86-64 CPUは、電源が投入されると、0xff
Linux OSの種類とバージョンの調べ方 - Qiita
このマシンのＯＳなんだっけ。 そんな時は、何も考えず下記のコマンドをコピペ実行！ CentOSでもRedHat EnterpriseでもUbuntu、Alpine、Fedore、Debian、SUSE Linux、Solarisでも問題なし！(たぶん。) ■コマンド $ grep -H "" /etc/*version ; grep -H "" /etc/*release なお、 grep -H "" /etc/{*version,*release}だと上手くDebian7の環境で{}のワイルドカードが正しく動作しなかった。。 ■こんな長いコマンド覚えられない! 覚えなくてOK。 要は cat /etc/*release cat /etc/*version すればどんなＯＳか分かるということです。 ■動作確認済み ■CentOS6.9 $ grep -H "" /etc/*version
Intel NUC で自宅 Ubuntu 開発環境構築と SSH Port Forwarding によるアクセス | blog.jxck.io
Intro 家では Mac を使っていたが、やはり Ubuntu 開発環境を作ることにした。 前々から気になっていた Intel NUC をベースに Ubuntu 環境を構築。 また、外出時もアクセスできるように SSH Port Forwarding を使って、固定 IP の無い家に外からアクセスできるようにした。 備忘録を兼ねて記す。 自宅開発環境 自宅では長らく Mac を使ってきたが、やはり Linux 環境があったほうが良いということで、数年ぶりにラップトップ以外の PC の購入を検討した。 自宅サーバとして使えれば、宅内オートメーションや、さまざまな用途にも流用できて、遊ぶ上でも良いだろう。 今は mini PC も色々出ており、選択肢も多く、比較的安価に、場所をとらないサーバが組めるようになった。 これを期に、高い Mac の買い替え更新をやめ、 Air などの持ち運び用途に
Anatomy of a Program in Memory
Memory management is the heart of operating systems; it is crucial for both programming and system administration. In the next few posts I'll cover memory with an eye towards practical aspects, but without shying away from internals. While the concepts are generic, examples are mostly from Linux and Windows on 32-bit x86. This first post describes how programs are laid out in memory. Each process
「オペレーティングシステム論」の講義資料・ノートPDF。OSのプロセス管理やメモリ管理，ファイルシステムを勉強 - 主に言語とシステム開発に関して
講義ノートの目次へ 大学の情報科学の講義，「オペレーティングシステム」論の講義ノートを集めた。 どの大学でも，OSの仕組みとして下記の項目を学ぶ。 プロセス管理・スケジューリング メモリ管理 ファイルシステム システムコール・割り込みの制御 これらを体系的に学習する。それがオペレーティングシステム論。 ※なお，プロセッサ（CPU）の動作原理や機械語について学習するのは「コンピュータ・アーキテクチャ」という授業。こちらのページに講義ノートがある。 オペレーティングシステムの講義ノート 全てテーマごとにファイルが分割されており，スライドをPDF形式で読めるようになっている。 オペレーティングシステム: 講義案内 http://www.eidos.ic.i.u-tokyo.ac.jp/~... 東大電子系。プロセス，仮想記憶，ファイルシステム オペレーティングシステム/講義資料 - IS2011
)
6万ミリ秒でできるLinuxパフォーマンス分析 | Yakst
NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
CoreOS on Full IP fabric の検証 - Qiita
Out of Scope CoreOSの初期デプロイ(L2からL3接続への切替) 外部からコンテナへの接続 (追加考慮必須) ECMP (問題ないはず) 経路フィルタ(スケール時の事故予防のため対策必須) 検証環境構築 GNS3 上の構築イメージ. CoreOSにはインターネット接続が必要. ToR (Cumulus-VX) の設定 downlink に Unnumbered で eBGP接続するように設定. #---------------------------------------------- # Basic Cumulus #---------------------------------------------- net add hostname tor-cumulus-1 net add loopback lo ip address 4.4.4.4/32 net pend
CoreOS 入門 - Qiita
CoreOS は Alex Polvi が設立した会社であり、OS、新しい Linux Distribution である。OSS で公開されている。 Polvi 氏といえば Rackspace に 買収された CloudKick を立ち上げ、その後も Rackspace 働いていたクラウドの専門家とも言えるだろう。 その Polvi 氏以外にも Googler や Linux 関連の人材、アドバイザーに Linux の stable branch のメンテナ を迎えるなど、Linux に関する知識がかなり豊富なメンバーが集まっている。 その彼らが作っているのが CoreOS である。 CoreOS は Google や Facebook などの環境を参考にしており、柔軟にスケールし、さらにはインフラ構築その もののプロセス自体も効率よく合理的に行えるよう設計されている。 また運用、管理（セ
mimalloc のメモリ管理 - Qiita
Microsoft の mimalloc は面白い割り切り方で、小さいソースコードで高速なアロケータを実装しています。 確保するメモリブロックのサイズを、 Small (~8KiB), Large (~512KiB), Huge (512KiB~) の3つに分類し、 Small と Large は同じアルゴリズムで管理し、 Huge は OS 任せにして、 Small と Large は同じアルゴリズムをうまく利用しています。 基礎 OSはpage (x86では基本 4KiB) ごとにメモリをプロセスに割り当てています。 しかしアプリケーションではずっと小さいメモリブロックが必要になることが多くあります。また、必要になるたびに毎回OSからメモリを割り当ててもらうのはパフォーマンスも悪いです。 mimalloc やその他の malloc 実装 (以降 malloc と呼びます) は OS か
Dockerでデバッグ対象のコンテナにツールを入れずにtcpdump/straceなどを使うワンライナー - Qiita
はじめに Dockerであんなコンテナやこんなコンテナを動かしてると、なんかうまく動かなくて、デバッグのためにtcpdumpとかstraceなどのツールが使いたくなることが稀によくあります。 そんな時、デバッグ対象のコンテナ内にツールを一時的にインストールしちゃうというのが、まぁ簡単で分かりやすいんですが、デバッグ対象のコンテナを汚すのはできれば避けたいところです。 Dockerのコンテナの分離というのは、結局のところLinuxのリソースの名前空間の分離であるので、逆に同じ名前空間を共有すれば、デバッグ用に立てた隣のコンテナから、デバッグ対象のコンテナのネットワークやプロセスの状態を観察することも可能です。 また、docker buildはDockerfileを標準入力から受け取ることもできるので、ワンライナーにしてデバッグ用のコンテナをシュッと呼び出せるようにしてみました。 TL;DR
Linux メモリ管理を理解したい - Qiita
Linux カーネルのメモリ管理方法について、勉強したことをまとめる。 メモリ管理はハードウェアに強く依存するため、x86_64 かつ OS起動後に 64bitプロテクトモード に移行したあとに話を絞る。また、OS は CentOS7.6、カーネルは次のバージョンを利用する。 ]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) ]# uname -a Linux localhost.localdomain 3.10.0-957.21.3.el7.x86_64 #1 SMP Tue Jun 18 16:35:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux 概要 ノイマン型アーキテクチャ コンピュータの基本的な構成のひとつ。次の図が参考になる。 ほぼ全てのコンピュータが、このアーキ
Bash: .bashrcと.bash_profileの違いを今度こそ理解する｜TechRacho by BPS株式会社
こんにちは、hachi8833です。社内Slackで見かけたmorimorihogeさんの以下の書き込みで目から鱗が落ちました。 ~/.bashrcで何かを出力してしまうと、rsyncなどのsshパイプで問題が生じることがあるそうです。 参考: 知らないとrsyncでもハマるシェル初期化 - Qiita これをきっかけに、できるかぎり一次情報を元になるべく一般的になるようにまとめてみました。 シェルスクリプト（.bashrcや.bash_profileなども含む）はあまりに自由に書けてしまい、LinuxディストリビューションやmacOSによって作法がまちまちだったりするので、外してはいけないポイントがどこかを知りたかったのでした。 対象はbashとsh（Bourne Shell）に限定します。また、デスクトップGUIの設定ファイルについては最小限にとどめます。 bashのmanページ 元記
Linuxカーネル4.1のvmalloc()（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
はじめに スラブアロケータ以外の動的メモリ確保 vmalloc関数 vmalloc関数で使用するデータ構造 vmallocの初期化 vmallocでのメモリ確保 vfree関数でのメモリ解放 その他の非連続メモリ領域からメモリを確保する関数 vmap関数 ioremap関数 /proc/vmallocinfoによるメモリ確保状況の確認 はじめに 前回のLinuxカーネル4.1のSLUBアローケータ（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモと同じくドラフト版公開です。こちらはLinuxカーネル4.1のメモリレイアウト（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモで説明しなかったvmalloc()の説明です。 カーネルのバージョンは4.1系です。 文書自体も完成版ではないし、markdownから手作業ではてなblogにコピペして修正してるので章立
64bitのOS + C言語でライブラリを使わずにHello Worldをしてみた - Qiita
この記事は、OthloTech Advent Calendar 2017 8日目の記事として書かれています。 昨日から2日連続で自分が担当しています。昨日はモバイルに関してでしたが、今日は打って変わってC言語でカーネルに近づいていきたいと思います。 具体的にはOSで定義されているシステムコールのみを利用してHello Worldをしていきます。 対象読者 Linuxカーネルに興味がある人。 システムコールに興味がある人。 Hello Worldの出し方が気になる人。 ArchLinuxが好きな人。 記事の内容 ライブラリを利用せずに文字列を出力します。 システムコールの使い方をかんたんにまとめます。 動作環境 OS Arch Linux x86_64 カーネルバージョン 4.14.3-1-ARCH gcc 7.2.1 nasm 2.13.01 gdb 8.0.1 初めてのHello Wor
Linux benchmark scripts and tools
August 14, 2023 by Hayden James, in Blog LinuxThis list of Linux benchmark scripts and tools should prove helpful for quick performance checks of CPU, storage, memory, and network on Linux servers and VPS. Check each script before running from the command line. Most of these scripts will benchmark the CPU, memory, storage, and network. In most cases, the CPU Model, frequency, and number of cores w
Difference Between apt and apt-get Commands [Explained]
This article explains the difference between apt and apt-get commands of Linux. It also lists some of the most commonly used apt commands that replace the older apt-get commands. One of the noticeable features introduced on Ubuntu 16.04 was the ‘introduction’ of apt command. The reality is that the first stable version of apt was released in the year 2014, but people started noticing it in 2016 wi
![Difference Between apt and apt-get Commands [Explained]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e7c95af1787579812a9b941961b22f909f52bacf/height=288;version=1;width=512/https%3A%2F%2Fitsfoss.com%2Fcontent%2Fimages%2Fwordpress%2F2017%2F07%2Fapt-vs-apt-get-featured.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
hatebu.me
