シェルスクリプトでスクレイピングするために`pup`を使う | ゲンゾウ用ポストイット
ゲンゾウ用ポストイット シェル / Bash / Linux / Kubernetes / Docker / Git / クラウドのtipsを発信。 はじめに以前、シェルスクリプトからhtmlのスクレイピングをしたときの方法を共有します。 Go言語で作られたpupというツールを使いました。 検証環境$ uname -moi x86_64 x86_64 GNU/Linux $ bash -version GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)pup とはコマンドラインの HTML 解析ツールです。 標準入力から情報を読み込み、標準出力に結果を出力します。 それだけだと cat と同じなのですが、 HTML の要素をフィルタリングすることができます。フィルタリングのための HTML 要素指定方法として、一般的に
ls -l はなぜ事故を起こすのか
はじめに この記事は以下の記事で事故がなぜ起きたかを技術的に理解し筆者のtipsを共有しようと思い書きました。あくまで筆者のtipsですので、これが正しいとは限りません。 やはり、下記のコマンドが原因でした。 [root@foo script]# ls -l | sh 事故そのものは ls コマンドに -l を付けて実行してしまった事で、ls コマンドが出力したシンボリックリンクが以下の様になってしまったという話です。
「Windows」ファイルを開いているプロセスを特定する方法いろいろ - プログラム日記
Windows 環境でファイルを開いているプロセスを特定する方法について調査した結果をまとめておきます。いろいろと方法があるっぽいですが、後述の方法であれば、Handle ツール ( ダウンロード必要ですが ) 使うの一番お手軽感があるかなって感じです。 ※ 以下で動作確認した結果を書いてある箇所もありますが、以下のエントリーのサンプルを使ってファイルを開いてます。 ・Windows C でファイル読み込み - プログラム日記 http://a4dosanddos.hatenablog.com/entry/2015/07/29/012942 1. 監査ポリシー監査ポリシーの「オブジェクト アクセスの監査」で "いつファイルにアクセスがあったか"、"どのプロセスがファイルにアクセスしたか" とかの情報をセキュリティログに記録できるみたいです。 ・監査ポリシー https://technet.
シェル芸人に必要なのは「マスキングテープ」だったのでは
2020/06/27 第48回シェル芸勉強会LT資料 https://www.youtube.com/watch?v=PIqx9fCSbaU&t=609s
PATH の扱い - Qiita
unix 系 OS では ${PATH} 環境変数を参照してコマンドの検索パスを指定する事ができます。 通常はログイン時にシステムデフォルトのコマンド検索パスが ${PATH} に自動で設定されていますが、ユーザ毎のシェルのログインファイル (${HOME}/.profile 等）で自分用のコマンド検索パスを追加設定する事が多いと思います。 ここで気をつけるべきは ${PATH} 中のヌルパス (::) はカレントディレクトリ (.) と同等に扱われてしまう事です。 例えば
Man page of LN
Section: User Commands (1) Updated: 18 June 2002 Index JM Home Page roff page 名前 ln - ファイルへのリンクを作成する 書式 ln [options] source [dest] ln [options] source... directory POSIX オプション: [-f] GNU オプション (簡略形式): [-bdfinsvF] [-S backup-suffix] [-V {numbered,existing,simple}] [--target-directory=dir] [--help] [--version] [--] 説明 ln コマンドはファイルへのリンクを作成する。特に指定がないとハードリンクを作成する; -s オプションを指定するとシンボリック (もしくはソフト) リンクを作成する
仕事で役に立たない！Linuxネタコマンド集 - Qiita
ブログやってます。更新などはこちら。地方エンジニアの学習日記 背景 仕事で使えそうだったりしたコマンドをまとめた記事を2つ書いた。 今回は仕事で使えないLinuxの面白コマンド(プログラム)の紹介記事です。 ネタ話くらいにはなるかもしれませんが特に役立つ知識ではないのでお暇な方のみご覧ください。 前に書いた記事はこちら 仕事で使えるLinux ワンライナー集 仕事で使えるかも知れないWindows コマンド＆ワンライナー集 + バッチファイル 暇で暇で仕方ない方以外は読まないほうがいいと思います！笑 汽車を走らせる！：sl とても有名なジョークコマンドですね。 Linux関連の本のコラムなどでもたまに見たりします（笑） 疲れてるときlsと間違えてslと打った時は少し休む目安になるとかならないとか。 使ってみる
コマンドラインで和集合とか積集合とか - てきとうなメモ
２つのファイルに共通する行(積集合)を出力したい場合は $ cat foo.txt bar.txt | sort | uniq -d２つのファイルのどちらかに含まれる行(和集合)を出力したい場合は $ cat foo.txt bar.txt | sort | uniq片方のファイルに含まれるが、片方のファイルに含まれない行を出力したい場合は、積集合を重複させてuniq -uすれば良いので $ cat foo.txt <(cat foo.txt bar.txt | sort | uniq -d) | sort | uniq -uプロセス置換を使ってしまったが。 ２つのシステムが全く異なるシステムなんだが共通するIDを使っていて、重複しているものを探したかったりする。そういう場合スクリプト書くのすら面倒なのでIDのリストを出力してコマンドだけでできないかなと思ったので。
Bash | 変数に収めた複数行テキストの差分=差集合を得る - Qiita
expect=$(cat << EOM A B C EOM ) exist=$(cat << EOM B C D EOM ) diff=$(join -v 1 <(echo "$expect") <(echo "$exist")) echo $diff
renameコマンドの使い方: UNIX/Linuxの部屋
最終更新 2018-12-22 rename コマンドは、主に Linux においてファイル名や拡張子などを一括して変更・置換・リネームするコマンドである。世の中にはさまざまな rename コマンドが存在するため、使用時は注意が必要である。
Big Sky :: 最近の GNU CoreUtils を使っている限り rm -rf / は --no-preserve-root 付けないと / は消せない
何に関連して記事を書こうと思った訳でもないです。たんなる一人コードリーディングです。 GNU CoreUtils に入ってる rm を読みました。 GNU Project Archives http://ftp.gnu.org/gnu/coreutils/ 読んだのは coreutils-8.17.tar.xz に入ってる src/rm.c preserve_root 変数は 203行目にある main で int main (int argc, char **argv) { bool preserve_root = true; struct rm_options x; true に初期化されていて319行目 if (x.recursive && preserve_root) { static struct dev_ino dev_ino_buf; x.root_dev_ino = get
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - sharkdp/bat: A cat(1) clone with wings.