Linuxにおける新たなパケットフィルタリングツール「nftables」入門 | さくらのナレッジ
たとえば、かつてiptablesで設定していたIPv4に関連するパケットフィルタリング設定は、nftablesにおいては「ip」というアドレスファミリに紐付けたテーブルを作成することで設定できる。同様に、ip6tablesやarptables、ebtablesで設定していたものはそれぞれ「ip6」や「arp」、「bridge」というアドレスファミリに紐付けたテーブルで設定する。 「inet」「および「netdev」アドレスファミリはnftablesで新たに導入されたもので、まず「inet」はIPv4およびIPv6の両方を対象にした設定を行えるアドレスファミリだ。従来IPv4とIPv6の両方にまたがったフィルタリングルールを設定したい場合はiptablesとip6tablesの両方で同じようなルールを追加する必要があったが、nftablesではinetアドレスファミリで指定することで単一の設
CPU使用率100％のWebサーバをOSのチューニングだけでCPU使用率20%まで改善する - 人間とウェブの未来
こんばんは、 @matsumotoryです。 hb.matsumoto-r.jp 上記エントリにおいて、プロセスの大量メモリ確保に伴うページテーブルサイズとベージテーブルエントリ数の肥大化によるcloneやexecveの性能劣化とCPU使用時間の専有問題、および、それらの解決方法についてシステムコールレベルで確認しました。 そこで今回は、システムコールやそのカーネル内部の処理の性能、というよりは、より実践的な環境であるApache httpdとmod_cgiを用いて、phpinfo()を実行するだけのCGIに対してベンチマークをかけた時にどれぐらいCPUのidleが空くか、システムCPUの使用量が変わるかを、前回示した解決方法の1つであるHugePagesを使うかどうかの観点で比較してみましょう。 特定条件下のWebサーバ環境のシステムCPUに起因する高負荷問題から、システムコールやカーネ
ファイルシステムサイズの拡張時にデータベースアクセスがスローダウンする問題の解決 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、技術顧問のsatです。 サイボウズでは、ファイルシステムサイズ拡張時にデータベースアクセスがスローダウンするという問題に長年悩まされてきました。本記事では運用本部の藤田と深谷がこの問題を解決した流れについて報告いたします。問題を解決するために2人はLinuxカーネルを修正しました。修正は社内に閉じたものではなく、執筆当時の最新 Linuxカーネルであるv4.17にマージされています。 問題 以下の操作の後にデータベースへのアクセスが一時的にスローダウンする ブロックデバイスのサイズを拡張する 上記デバイス上にあるファイルシステムのサイズを拡張する 原因 linuxカーネルはブロックデバイスのサイズ変更(縮小および拡張)時に、当該デバイス上にあるファイルシステムのページキャッシュ(後述)を無効化する*1 解決方法 ブロックデバイスのサイズ拡張時にはページキャッシュを無効
Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
Linuxメモ : topの代わりとして使えそうなコマンド（glances, ctop, gtop, htop, vtop, cpustat）を試してみる - もた日記
glances インストール 使い方 ctop インストール 使い方 gtop インストール 使い方 htop インストール 使い方 vtop インストール 使い方 cpustat インストール 使い方 GitHubを眺めていたらtopの代わりとして使えそうなコマンドが色々あったので試してみる。 glances Glances - An Eye on your system（公式ページ） github.com glancesは色々な情報を表示できるモニタリングツール。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install glances 使い方 glancesで起動できる。図のように色々な情報がまとめて表示可能。 ブラウザで確認できるWebサーバモードや、リモートマシンを監視するクライアント／サーバモードもあるようだ。 ctop ctop（公式ページ
Pomera DM200 – 記録
気がつけば今年初めての更新ですが、2016年の年末にDM200を買いまして、しばらくは主にこれを調べてました。 今はこんな感じです。 この程度までの動作に必要なバイナリと情報は近いうちに出そうと思います。 ただ、今はちょうどGPD Pocketとぶつかるんですよね。 DM200はGPD Pocketと比較すると性能では確実に見劣りしますが、キーボードに関してだけはDM 200の方が配列がまとも(だと思う)のでLinuxが使える人にでもある程度需要はあると良いですが…… #ちなみにこれならネタにできるかと思ってコミケに申し込んでみたら場所が取れてしまったので、そこに向けて解析時の情報などをまとめるつもりです。 1日目(8/11) 金-東そ26a
原理原則で理解するbashの仕組み - Qiita
はじめに 以前書いたエントリー、重大な脆弱性(CVE-2017-5932)で少し話題になったbash4.4の補完機能の便利な点で、bash4.4からでないとタブの補完機能のソート処理が制御できないという問題について、ソースコードレベルで調べた結果をまとめていたのですが、bashの実装そのものを深く掘り下げ過ぎてしまい、内容が膨大になったので、何回かに分けて書こうと思います。 今回はbashが起動されてからインタラクティブモードでキーボードの入力を待ち受けるまでのお話です。普段使っているbashがどのような処理を行っているのか一緒に覗いてみませんか？ 検証ソースコード Bash version 4.1.0(1) release GNU bashの生誕 bashのプロセスが起動されるのはOSへのログイン時にユーザーのログインシェルがbashに設定されている場合、あるいはログイン後に明示的にba
LinuxでFFmpegをほぼ全自動でビルドする（CentOS、Ubuntu等に対応） | 自分に負けないラボラトリー
LinuxでFFmpegをほぼ全自動でビルドする方法をまとめました。開発環境のパッケージをインストールして、後はスクリプトを実行するだけでビルド＆インストールまで行うことができます。 ビルドするFFmpegは、libavcodecでサポートされている標準エンコーダの他に以下のエンコーダを追加します。 ビデオエンコーダ（Video Encoder） H.264 H.265 VP8 Theora オーディオエンコーダ（Audio Encoder） AAC MP3 Ogg Vorbis Opus その他（etc） libass（字幕：Script） 申し訳ありませんが、CentOS 6.xは本記事では非対応とします。gccなどのバージョンが古く、最新のソースコードのビルドが通らなくなったためです。古いディストリビューションに関しては、「古いLinuxでFFmpegをほぼ全自動でビルドする」の記事
Windows で Ubuntu バイナリ（bash）が動作することの概略 - 蒼の王座・裏口
マイクロソフトのハンセルマンのBlog： Developers can run Bash Shell and user-mode Ubuntu Linux binaries on Windows 10 Ubuntuの中の人のBlog： Ubuntu on Windows — The Ubuntu Userspace for Windows Developers この2つのBlogで実態が明確になったのでまとめてみます。 使用可能になるOSまもなくリリースされる予定のWindows 10 ”Anniversary” アップデートで使用可能になります。このアップデートで、開発者向けの機能として追加されます。 機能の追加で、Windowsの設定で開発者モードを有効にすると使用できるようになります。これでネイティブなユーザー モードのLinuxシェルが使えるようになり、bashを起動するとWind
bashの履歴を検索するコマンドが捗りすぎてヤバい！俺の作業効率が２倍どころか更に倍してドンッ！ - でーじてとこん
ほぼ毎日bash使ってます。てとこん(@tetokon)です。 しかし毎日使っていてもまだまだ知らない機能やコマンドってありますよね。 最近知った、bashのコマンド履歴を検索するコマンドが便利すぎて、はらたいらさんもびっくりの作業効率の上がり方なのでご紹介したいと思います。 これはもう過去に戻って昔の自分に教えたいレベルです。 というか何で今まで誰も俺に教えてくれなかったの？？ 俺嫌われてるの？えっ？ そっこーで使ったコマンドを遡れる ▲例えばですけど、こういう順番でコマンドを使ったとしますよね。 ここでまた”cp test.txt test.txt_2”というコマンドを使いたいとします（40のやつ）。 過去の私ならひたすらキーボードの”↑”を押してコマンドを遡るか、もしくはまた同じコマンドを入力するか。 と こ ろ が ！！！ ▲ここで”ctrl+r”を押せば！なんとこんな事が！ ct
[2022-04-01をもって利用不可] ntpを使わずに時刻を合わせるワンライナー (Proxy環境下でも安心) - Qiita
Caution! 本記事で紹介しているやり方は、2022年4月1日以降は利用できなくなります！いままでありがとうございました！ 利用不可になる詳細については、以下のページを参照ください。 https://jjy.nict.go.jp/httphttps-index.html 以下、記事の内容は残しておきます。 あなたのlinux、もしくはmac、なんだったらbusybox、時間合ってますか？なに、Proxy環境下だからntpがちゃんと動いてくれなくていつの間にか時刻がズレてく日々を送っている？ このポストは 訳あってProxy環境下で作業をせざるを得ないが、ntpをProxy環境下でちゃんと動作させる術を調べるのが面倒な人のための記事です。 ※ 後述しますが、Proxy自体は使います。ntpを使わずに時間を合わせられるという内容です。 (2016.08.31更新) 真・下の一行を打ちこめば
![[2022-04-01をもって利用不可] ntpを使わずに時刻を合わせるワンライナー (Proxy環境下でも安心) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d4ce0f5f512fecbaeef878fd78eeadbf23312ef/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCMjAyMi0wNC0wMSVFMyU4MiU5MiVFMyU4MiU4MiVFMyU4MSVBMyVFMyU4MSVBNiVFNSU4OCVBOSVFNyU5NCVBOCVFNCVCOCU4RCVFNSU4RiVBRiU1RCUyMG50cCVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MiU4RiVFMyU4MSU5QSVFMyU4MSVBQiVFNiU5OSU4MiVFNSU4OCVCQiVFMyU4MiU5MiVFNSU5MCU4OCVFMyU4MiU4RiVFMyU4MSU5QiVFMyU4MiU4QiVFMyU4MyVBRiVFMyU4MyVCMyVFMyU4MyVBOSVFMyU4MiVBNCVFMyU4MyU4QSVFMyU4MyVCQyUyMCUyOFByb3h5JUU3JTkyJUIwJUU1JUEyJTgzJUU0JUI4JThCJUUzJTgxJUE3JUUzJTgyJTgyJUU1JUFFJTg5JUU1JUJGJTgzJTI5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xYzk2ZmU5NDUzZTNkZjViYzU3YWY5ZjZlNmFhZjBhMQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcGFua29uYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9N2M0OTY0MTY5NzFjYTc4MWQzMGJmZjFmMmFiY2I2ODU%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc6cacfde2325d3a835d329710e15db2f)
BuffaloルータをPCディスプレイにつなげた。 - Zopfcode
先日、Buffaloの無線ルータ WZR-450HP にDisplayLink社のUSBグラフィックスアダプターを接続して、PCモニタにshellを表示することに成功したのでそれまでの道のりを紹介しようと思う。 実験記録みたいな感じなので、単にアダプタを接続するためのHowToではないことに注意。とにかく語りたいだけ（笑） この記事の内容は、先日弊社で開催のFULLER エンジニアミートアップで発表した未完成のスライドおよびkosen10sLT #03で発表したスライド（下記）と同一だが、内容を時間の都合で多少端折っていたので、この記事では発表でしゃべらなかった細かい所も詳細に語りたいと思う。 ルータでルータのプレゼンをした話。 ~# 技術解説 from Takumi Sueda www.slideshare.net 事前におことわりしておくが、私は電波法を侵さないよう細心の注意を払いなが
うっかり起動してしまった時間のかかるプロセスをtmux上に付け替えたい - Qiita
うっかり生のシェル上で時間がかかるプログラムを起動してしまって困ったこと、ありませんか。 こういう時に使えるコマンドに、reptyrがあります。 インストール Debianなら
ターミナルにリッチなモニターを表示させる
B! 511 0 0 0 以前、 sparkという シェルスクリプトで棒グラフを表示するコマンドを紹介しましたが、 さらに複雑なグラフや地図などもターミナルに表示してしまおうと言う プロジェクトの紹介。 blessed-contrib termui wopr ブラウザに表示させる blessed-contrib nodeがインストールされている必要がありますが、 nodeが入っているなら取り敢えず $ git clone https://github.com/yaronn/blessed-contrib.git $ cd blessed-contrib $ npm install $ node ./examples/dashboard.js を実行してみてください。 ターミナル上に こんな感じのものが表示されると思います。 追記: 2015/11/30 上のgifはGNU screenを立
Linuxサーバー管理をWindowsで行うべきでない重要な１つの理由 - Qiita
サーバー接続に使うSSHクライアントは今の所フリーソフトしかありません。（注：コスト的に商用のものは選択され辛いと言う意です） フリーソフトを使っている管理者はSSHクライアントのソフトが安全かどうかの検証はどのように行っていますか？ ネットの噂等で判断するのは危険ですし説得力がありません。大人しくOSXかLinuxかUNIXを使うべきです。 一度セキュリティについて考えておくべきです。 ちなみにPowerShellにSSHがサポートされる動きはあるようですね。 Looking Forward: Microsoft Support for Secure Shell (SSH) 補足(2015/10/15) 当エントリの反響は予想を上回り驚いています。 舌足らずな表現も誤解を与えた感がありましたので補足させて頂きます。 経緯が分からなくなるので元の文章はそのまま残します。 言いたかったことは
シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌
シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。 たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌」のスクリプトの出力は以下のようになります。 i-ec56a9f5 vol-07d00601 servername i-ec56a9f5 vol-8f550991 servername このようなレコードの特定の列を取り出して、処理する際にどうするのが効率的か、というのがこのエントリのお題です。 非常に古い話題なので、昔からシェルスクリプトを書いている人には自明な話ではありますが、最近、シェルの標準機能の話を聞く機会がなく、失われつつある技術になってきている気がしているので、改めて確認ということで。 例として挙げたレコードから
Debian(Ubuntu)で サービスの起動、停止を管理するツールを調べてみた(chkconfigのかわりになるもの) | レンタルサーバー・自宅サーバー設定・構築のヒント
Debian(Ubuntu)で サービスの起動、停止を管理するツールを調べてみた(chkconfigのかわりになるもの)
GNU grep 2.18リリース: 10倍速くなったと思ったら今度は200倍遅くなっていた | はむかず！
先日の記事 いまさらgrepが10倍高速化したのはなぜか が思わぬ閲覧数を稼いでしまい、トルコ語の知識を日本に広めるのに大きな貢献をしたような気がしますが、みなさんいかがお過ごしでしょうか。 実は先日の記事を書いた時にはすでに2.18がリリースされてたのだが、今回は2.17のときと違って日本の大手メディアが取り上げてなかったので、ついつい見落としていた。しかし実は2.18でも大きな変更が！！ リリースノート抜粋： grep -i in a multibyte, non-UTF8 locale could be up to 200 times slower than in 2.16. [bug introduced in grep-2.17] なんということでしょう。-iオプションでUTF8のときは2.17で10倍速くなっていたのだが、それ以外のマルチバイトロケールのときは200倍遅くなって
いまさらgrepが10倍高速化したのはなぜか – はむかず！
最近GNU grepコマンドの最新バージョンがリリースされ、速度が10倍になったとのアナウンスがあった。それを聞いて、なんであんな枯れた技術に10倍もの高速化の余地があったのだろうと不思議に思った人も多いだろう。 ニュース記事：grepコマンド最新版、”-i”で10倍の高速化 本家のリリースノート：grep – News: grep-2.17 released [stable] 今回のリリースでは正確には、マルチバイトロケールで、-iオプション（–ignore-case、つまり大文字小文字を区別しないオプション）をオンにした時の速度が10倍くらいになったそうだ。 なぜそんなに速くなったのか？逆を言えば今までなぜそんなに遅かったのか？ そもそも、多くの日本人にとって「大文字小文字の区別」というと英語のアルファベットか、せいぜいフランス語とかドイツ語とかのアクサン記号・ウムラウトがついたものく
Chinachu
Chinachu beta A open source EPG digital video recorder system for Linux. View the Project on GitHub Download ZIP File Download TAR Ball View On GitHub Chinachuは、Linuxで動作する、デジタル放送番組向けのEPG録画予約管理システムです。 細かい予約ルールによる録画予約の完全自動化や、socket.ioによるリアルタイム性の高いWUIアプリを実現しています。 REST APIとWUIは、ウェブサーバーとして単独で動作しますので、ApacheやPHP等は不要です。 そしてMySQL等のDBMSは利用せず、軽快に動作します。必要なデーターはすべて人間にも理解可能なJSON形式で保存されます。 システムの大半がNodeプラットフォーム上で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
