画像ファイルやデータベースの文字列を「grep」のように検索できる「ripgrep-all」
Linuxのコマンドラインで文字列を検索する際に必要不可欠なコマンドといえば「grep」です。しかし、grepは動画ファイルやPDFファイルの文字列を検索できないのが弱点。そんなgrepの弱点を克服し、動画ファイルのメタデータやデータベースのレコード、画像ファイル内の文字列まで検索可能なコマンドが「ripgrep-all(rga)」です。 GitHub - phiresky/ripgrep-all: rga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc. https://github.com/phiresky/ripgrep-all rgaはLinuxに限らずWindowsやmacOSでも利用することが可能。今回はUbuntu 20.04でrgaを利用してみます。以下のコマンドを
「M1チップ搭載Macが絶対欲しい」とLinuxの生みの親リーナス・トーバルズが絶賛
by Linux Foundation オープンソースのOS・Linuxの開発者として知られるリーナス・トーバルズ氏が、AppleのM1チップを搭載したMacについて「絶対欲しい」と発言していたことが分かりました。 Linus Torvalds wants Apple’s new M1-powered Macs to run Linux https://thenextweb.com/plugged/2020/11/23/linus-torvalds-wants-apples-new-m1-powered-macs-to-run-linux/ Linus Torvalds wants an M1 Mac… but running Linux, obviously https://developer-tech.com/news/2020/nov/23/linus-torvalds-m1-mac
One-liners | Basic | Cheat sheet | Linux Command Library
$ wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com
Linuxがブートするまで
普段Linuxを使っていながら、vmlinuzやinitrd.imgというファイルは何なのか、 あやふやにしか理解していなかったので、一通りLinuxマシンのブートの仕組みを 勉強してみた結果を書き留めておく。なお、BIOSとGRUB Legacyの環境を前提としている。 EFIやGRUB2を使った環境については、今後いずれ勉強していきたい。 基本的にOSの起動は、単純・低機能なプログラムが、より複雑・高機能なプログラムを 読み込み起動するという処理を連鎖的に行う仕組みになっている。 Linuxでは、下記のプログラムが順に起動していく: BIOSブートローダ (GRUB)Stage 1Stage 1.5Stage 2LinuxカーネルInit以下では、それぞれのプログラムについて順に要約して述べていく。 1. BIOS現在一般的なx86/x86-64 CPUは、電源が投入されると、0xff
CPU律速なRuby/Pythonコードはデフォルト設定のdocker上で遅くなる - まめめも
English version 要約 dockerはデフォルトでセキュリティ機構（Spectre脆弱性の対策）を有効にします。この影響で、RubyやPythonのようなインタプリタは速度が劣化します。特にCPU律速なプログラムで顕著に遅くなります（実行時間が倍くらいになることがあります）。 現象 Rubyで1億回ループするコードを、直接ホスト上で実行する場合と、docker上で実行する場合で実行時間を比較してみます。 直接ホスト上で実行した場合： $ ruby -ve 't = Time.now; i=0;while i<100_000_000;i+=1;end; puts "#{ Time.now - t } sec"' ruby 2.7.1p83 (2020-03-31 revision a0c7c23c9c) [x86_64-linux] 1.321703922 sec docker
hostapd.conf 覚書 - Qiita
/usr/share/doc/hostapd/examples/hostapd.conf.gz に記載されているコメントの日本語訳。 定義 AP(Access Point): 無線/有線 LAN サービスを提供するサーバーマシン。 STA(Station): AP が提供する LAN サービスを利用するクライアントマシン。 hostapd 設定ファイル 空行と # で始まる行は無視されます。 AP ネットデバイス名を指定します。 ap 接尾辞なしで指定してください。 注意 この属性の設定値は -i コマンドラインパラメータで指定された値によって上書きされる可能性があります。 atheros および nl80211 ドライバインタフェースの場合、任意の設定パラメータ bridge は、 インターフェイスがブリッジに含まれている場合に、 hostapd へ通知するために使用できます。 このパラ
Systemd
Page Scrolling Vertical Scrolling Horizontal Scrolling Wrapped Scrolling
大規模システムでの Linux のメモリ管理
(This post is also available in English.) この記事は Linux memory management at scale を 著者の Chris Down さんの許可 を得て Hiroaki Nakamura が日本語に翻訳したものです。 原文のライセンス は CC BY-SA 4.0 であり、翻訳のライセンスも同じく CC BY 4.0 とします。 cgroup2 プロジェクトでの私の仕事の一部として Linux システムのリソース管理についてエンジニアと話すことに多くの時間をかけてきました。 これらの会話を通じてどんどん明らかになってきた 1 つの事実は多くのエンジニアは、シニア SRE たちでさえも、 Linux のメモリ管理についていくつかのよくある誤解を持っていて、そしてそれが彼らがサポートするサービスやシステムが本来確実に稼働したり効率的
LinusがZFSにLKMLで言及した件 - kuenishi's blog
先日Linusが盛大にZFSを非難したことがインターネット・カーネル界隈の噂を駆け巡った。これをタイトルだけみたり本文をちょっと読んだら「ああ、LinusはZFSが嫌いなんだ」とか「LinuxでZFSを使うべきではない」といった理解をする人が非常に多いだろうと思う。Linusは当然Linuxユーザーにとって大きな影響力を持つ人物であり、多くのLinuxユーザーがこの理解のままでいることになりかねない。公私ともにZFSに頼りっきりになっている私は特にそういう状況は非常に困るし、Canonicalは19.10からUbuntu LinuxでのZFS rootを標準にしようとしているくらいだからもっと困るだろう。複雑な状況になっていると思うので、このニュースの深層を探ってみよう。 まず元スレ 元になったLinusのレスによると、そもそも最近カーネルにドライバのインターフェース変更があってZFSがこ
iptablesの後に来るものは何か？： nftables - 赤帽エンジニアブログ
この記事はRed Hat DeveloperのWhat comes after ‘iptables’? Its successor, of course: nftablesを、許可をうけて翻訳したものです。 ::: By Florian Westphal October 28, 2016 ::: パフォーマンス： ユーザビリティ： nftablesとは何ですか？ 何が置き換えられますか？ なぜiptablesを置き換えるのか？ nftablesでの高水準な機能 判断マップ（ジャンプテーブル） flow文 inetファミリー はじめる チェーンの追加 NAT 既知の制限 関連記事 nftablesは、既存のiptables、ip6tables、arptables、ebtablesを置き換えることを目指した、新たなパケット分類フレームワークです。これは、長く使われてきた ip/ip6table
Linux メモリ管理を理解したい - Qiita
Linux カーネルのメモリ管理方法について、勉強したことをまとめる。 メモリ管理はハードウェアに強く依存するため、x86_64 かつ OS起動後に 64bitプロテクトモード に移行したあとに話を絞る。また、OS は CentOS7.6、カーネルは次のバージョンを利用する。 ]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) ]# uname -a Linux localhost.localdomain 3.10.0-957.21.3.el7.x86_64 #1 SMP Tue Jun 18 16:35:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux 概要 ノイマン型アーキテクチャ コンピュータの基本的な構成のひとつ。次の図が参考になる。 ほぼ全てのコンピュータが、このアーキ
Bash: .bashrcと.bash_profileの違いを今度こそ理解する｜TechRacho by BPS株式会社
こんにちは、hachi8833です。社内Slackで見かけたmorimorihogeさんの以下の書き込みで目から鱗が落ちました。 ~/.bashrcで何かを出力してしまうと、rsyncなどのsshパイプで問題が生じることがあるそうです。 参考: 知らないとrsyncでもハマるシェル初期化 - Qiita これをきっかけに、できるかぎり一次情報を元になるべく一般的になるようにまとめてみました。 シェルスクリプト（.bashrcや.bash_profileなども含む）はあまりに自由に書けてしまい、LinuxディストリビューションやmacOSによって作法がまちまちだったりするので、外してはいけないポイントがどこかを知りたかったのでした。 対象はbashとsh（Bourne Shell）に限定します。また、デスクトップGUIの設定ファイルについては最小限にとどめます。 bashのmanページ 元記
コンテナはなぜ安全（または安全でない）なのか - sometimes I laugh
CVE-2019-5736を覚えていますか？今年の2月に見つかったrunc（Dockerがデフォルトで利用しているコンテナのランタイム）の脆弱性で、ホストのruncバイナリを好き勝手にコンテナ内部から書き換えることができるというものです。 脆弱性の仕組みに興味があったので調べたところ、コンテナを攻撃する方法というのは他にもいろいろあって、runcは頑張ってそれを塞いでいるようです。これまとめると面白いかも、と思ったので以下のようなおもちゃを作りました。 Drofuneは簡単なコンテナランタイムです。drofune runとかdrofune execなどでコンテナを起動したり、入ったりすることができます、といえば想像がつくでしょうか。 これだけでは何も面白くないので、Drofuneはわざと安全でない実装になっています。なので、今回発見されたCVE-2019-5736を利用した攻撃も成立します
Linux benchmark scripts and tools
August 14, 2023 by Hayden James, in Blog LinuxThis list of Linux benchmark scripts and tools should prove helpful for quick performance checks of CPU, storage, memory, and network on Linux servers and VPS. Check each script before running from the command line. Most of these scripts will benchmark the CPU, memory, storage, and network. In most cases, the CPU Model, frequency, and number of cores w
コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう｜ハイクラス転職・求人情報サイト AMBI（アンビ）
コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう コンテナ技術を適切に活用するには、コンテナが「どうやって」動いているかを学びたいところ。はてなのエンジニアhayajo_77さんがコンテナの要素技術の勘所を解説します。 こんにちは。株式会社はてなでサーバー監視サービス「Mackerel」のSREを務めるhayajo_77（ @hayajo ）です。 さて、コンテナ技術はDockerの登場がきっかけとなり、本格的に活用が始まりました。現在はKubernetesを始めとするコンテナオーケストレーションツールや AWS, GCP, Azure などのクラウドサービスで提供されるコンテナマネジメントサービスを採用したサービス運用事例が数多く紹介されており、コンテナ技術は「理解する」フェイズから「利用する」フェイズに移ってきています。 コンテナそのものは上記のツールやサービスにより
【Linux】Load Averageに関するいろは - Qiita
システム全体の実行待ちプロセス数の平均値 背景 CPU使用率だったりAverageLoadだったりを見てサーバの負荷度だったりを調査する必要があってそれについていろいろ疑問だった点をまとめました。 間違い等あればご指摘お願いします。 ボトルネック調査の順で言うととりあえず最初にやるかなって所を書いてます 1.CPU使用率 ★対象 2.メモリ使用量 3.ディスクI/O 4.TCPコネクション数 Load Averageって？ ロードアベレージはシステム全体の負荷状況を表す指標。 「1CPUにおける単位時間あたりの実行待ちとディスクI/O待ちのプロセスの数」で表される。 Linuxカーネルはプロセス１つごとにプロセスディスクリプタを持っている。 Linuxでのプロセスディスクリプタはtask_struct構造体という名前になっていて、プロセスに関する全ての情報が入っています。 以下はtask_
「Linux 4.20」性能問題、原因はSpectre v2対策STIBPの有効化--トーバルズ氏が変更を要求 - ZDNet Japan
次期「Linux 4.20」のパフォーマンス劣化の大きな原因は、Spectre variant 2（Spectre v2）の緩和策にあることがわかった。Linuxの生みの親であるLinus Torvalds氏は緩和策を制限したいと思っている。 LinuxニュースサイトのPhoronixが記しているように、パフォーマンスの急な劣化は「Single Thread Indirect Branch Predictors（STIBP）」と言われるSpecter v2の緩和策を新たに実装したためだという。STIBPは、最新のマイクロコードを持つIntel上のLinux 4.20でデフォルトで有効となる。 STIBPは、IntelがSpectre v2を悪用した攻撃を防ぐために行ったファームウェアアップデートで加わったものだ。IntelはSTIBPのほか、「Indirect Branch Restric
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://tech.pepabo.com/2020/06/26/kernel-dive-tcp_mem/
「WSL 2」が正式リリース！ ～「WSL 1」とのメリットは？ 「Windows Terminal」にも注目【正式リリース間近！ 新機能・改善盛りだくさんの「Windows 10 May 2020 Update」】
hatebu.me
