sedでこういう時はどう書く? - Qiita
シェルでデータ加工するときSEDをよく使いますが、その利用例と覚え書きです、参考になれば sedコマンドはLinux/Unix/BSD/OSXに標準で入っているので、Macの人なら覚えておくと捗るかも(Linuxとは少し違うのでそこは調べてね?) 当方の利用環境がRedhat系Linuxメインですので、微妙に書式が異なることがありますが、大体の書式は同じはずですので、そこは、ご容赦願います (4/15 ちょっと追加…) Windowsでもsed使いたいという人がいたので、ちょっと追記、以下のサイトからWindows用のバイナリを取得すれば、Windowsでもsedが使えます。WSLなどLinux環境を追加したくない、sedのコマンドだけほしい、PowerShellやプロンプトで使えればいいだけという人にお勧めです。 sed for Windows Site 使用例をいろいろ上げてみる '#
時間のかかる複数のコマンドをキューに突っ込んで処理させる『Task Spooler』を試してみる | 俺的備忘録 〜なんかいろいろ〜
よく、時間のかかる複数の処理をパラレルで実行し、かつ後からタスクの追加もさせたい、コマンドをキューのようなものに入れておいて処理させたいということがある。 ただ単に実行するコマンドをシェルスクリプトにしただけではこれはできないので、なにかいい感じのものはないかなーと探してみたところ、『Task Spooler』なるツールがそのものズバリな機能を持っているようだ。 というわけで、早速試してみることにする。なお、OSはUbuntu Server 16.04 LTSを用いている。 1. インストール Ubuntuであれば、aptでインストールができる(CentOS等の場合、ソースを取ってきてのコンパイルが必要になる)。 sudo apt install task-spooler インストールできたら、tspを起動させよう。 tsp 2. 使ってみる インストールができたら、実際に利用してみよう。
#/usr/binとその同種の周辺を探る | POSTD
(注：2017/04/10、いただいたフィードバックを元に翻訳を修正いたしました。) はじめに 私はLinuxが大好きです。コンピュータとのやりとりが楽しくなるし学ぶことも多くなります。OSとハードウェアの基盤となる基本原則を学びたい人にとって、Linuxはとてもいい出発点と言えるでしょう。 ご存じのとおりLinuxとは大抵の場合プログラム（コマンド）を通してやりとりします。Linuxと他のUNIX系システムが持っている特徴は、コマンドラインと、パイプのコンセプトです。プログラムの提供する入力と出力を統合すれば、データを操作するのに非常にパワフルなプラットフォームになります。 Linuxのコマンド、プログラム、バイナリ（何と呼んでもいいのですが）の大部分は、/usr/bin、/usr/sbin/、/binそして/usr/local/binに存在しています。これらのディレクトリを見れば、プロ
tailの結果をgrepの複数条件でフィルターしてリアルタイムで表示する - hoge256ブログ
リアルタイムでアクセスログ等を表示するtailですが、単純に表示するだけではなく、grepで結果をフィルターしたい場合があります。そんな場合の技術メモです。 通常のログ監視等では-fをつけて次のような感じになります。 tail -f access.log grepでフィルターする場合はパイプで繋げます。 例えば、次の例では”.html”の含まれる行のみを表示します。 tail -f access.log | grep ".html" もちろん複数条件もできます。 次の場合は”.html”の含まれる行でかつ、”.gif”は含まれない行が表示されます。 tail -f access.log | grep ".html" | grep -v ".gif" ただし、上記の場合、grepが勝手に結果をバッファーしてしまい、ある程度たまってからでないと表示されません。 リアルタイムで表示されないと
大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ
追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す
先頭にハイフンが付くファイルを削除できない
先頭に「-」（ハイフン）が付いているファイルを削除しようとすると，次のように表示されてしまう。文字列として判別されるよう「rm "-hogehoge.jpg"」と囲って指定しても同じ結果だ。この原因は，「-」以降の指定がコマンドのパラメータとして認識されるためである。
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
訳：非推奨になったLinuxネットワークコマンドの代替コマンド - aws memo
これはちゃんとチェックしておかないとなぁ。 Deprecated Linux networking commands and their replacements « Doug Vitale Tech Blog ==== この記事で詳しく説明する非推奨のLinuxネットワークコマンドは：arp, ifconfig, iptunnel, iwconfig, nameif, netstat, route である。iwconfig以外の コマンドは、net-toolsパッケージという、数年間メンテナンスされていないパッケージに含まれている。これらのユーティリティによって提供される機能は、新しいipコマンドを主に使うiproute2 スイートで再提供され、改善され続けている。iproute2ソフトウェアのコードとドキュメントは、Kernel.orgとLinux Foundationで見ることができ
Awkワンライナー (最小値、最大値、合計、平均、中央値) - 雨の歌をいつか書く
簡単な解析はワンライナーでやっちゃおう。ということでまずは簡単に最小値と最大値と平均を求めるAwkワンライナーを書きます。 たとえば以下のようなログファイルがあるとする。僕はいま、3列目の数値に対して統計値を出したいのだ。 0 0 147.086 0 10 141.269 0 20 10000 0 30 2805.22 0 40 152.003 0 50 144.762 0 60 144.926 最大値 cat test.log | awk '{if(m<$3) m=$3} END{print m}' { if(m<$3) m=$3 } END { print m } $3ってのが第3番目の列という意味なので、ここを変えれば別のところも参照可能。BEGINの中で初期値を設定する必要があるのかなと思っていたけど、いきなりif(m>$3)を実際にやってみたら大丈夫だった。 最小値 基本的には同
自分好みの環境をsudo時にも使えるようにする - 絶品ゆどうふのタレ
以下のように.*shrcに記述しておくと、自分のshellで設定した内容のほとんどをsudo後にも引き継ぐことが出来て、ちょっと便利。 alias sudo='sudo -E ' これだけ。これは2つのことをやっていて 実行ユーザーの環境変数の大部分をsudo後も引き継ぐ 実行ユーザーのalias設定をsudo後も引き継ぐ という効果がある。 環境変数の引き継ぎ 前者の、環境変数の引継を実現しているのは、-Eオプション。 これは、正確には環境変数を引き継いでいるのでは無く、sudoersで設定されているenv-resetを無効にする効果がある。 そのため、$USER/$LOGNAME/$PATHなどの環境変数は(defaultでは)rootで上書きされるのだが、$HOMEは実行ユーザーのままだったり、$LV/$EDITORなども引き継がれたりする。 もちろん、これはsudoersのenv周
CentOS 6.3 の sudo で環境変数を引き継ぐ
ユーザ権限でパスが通っていてもルート権限で実行すると通っていなくて困るときがある。 $ which mvn /usr/share/maven/bin/mvn $ sudo which mvn which: no mvn in (/sbin:/bin:/usr/sbin:/usr/bin) 環境変数を引き継ぐには /etc/sudoers に以下の行を追加する。 Defaults:amedama !env_reset これだけだと sudo したときに PATH は制限されたままなので、以下の行を “#” でコメントアウトする。 Defaults secure_path = /sbin:/bin:/usr/sbin:/usr/bin こうすると sudo したときもパスを含めて環境変数を引き継げる。 $ sudo which mvn /usr/share/maven/bin/mvn めでたし
Service が Foreground で動いているか確認する - Qiita
Android で「死ににくいサービス」を作るには [Service.startForegound](http://developer.android.com/reference/android/app/Service.html#startForeground(int, android.app.Notification) を呼び出す必要がありますが、動いてるサービスがちゃんと「Foregound になってるか？」は以下のようにして確認できます。(Notification 表示が強制されるから通知バー見ればいいじゃん、と言われればそうなんですけど、ちゃんとしたエビデンスっぽいのが欲しくて) 手順 <サービス名> はサービスの完全名称を入れます。AndroidManifest.xml の <service android:name= で定義したやつ。 実行すると以下のように出力されます。 AC
New in Symfony 2.2: Autocomplete on the Command Line (Symfony Blog)
Last month, I talked about some of the enhancements we made to the Console component for 2.2. Today, I want to show you another amazing enhancement: autocompletion on the command line! The code to make it happen is very similar to the code you are already using when asking a question from within a command: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 use Symfony\Component\Console\Ap
確認しておきたい！ターミナルが本当に256色表示できてるか？ | Act as Professional
そういえば、実際に256色を表示しているのか確認をしたことがなかった@HIROCASTERでございませう。 WEB関係の開発者ならば、仲良しのターミナル。いつもつかってますよね？ でも、そのターミナルは本当に256色表示できるか、確認してますか？もしかしたら設定を正しくおこなっていないため、表示されていないことに気づいてないだけかもしれません。 Terminalまず。普段利用しているターミナルがそもそも256色を表示できるのかを確認します。 256色を表示するPerlスクリプト256色を表示するPerlスクリプトを取得します。 256colors2.pl$ wget http://www.frexx.de/xterm-256-notes/data/256colors2.pl $ perl ./256colors2.pl Perlスクリプトの実行結果 こんな感じで色鮮やかに表示できていれば、
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
logger コマンドで syslog にメッセージを吐く
cles::blog 平常心是道 blogs: cles::blog NP_cles() « 遠隔操作ウイルスから身の潔白を証明？ :: Windows 版 Safari の使用中止を » 2012/10/23 logger コマンドで syslog にメッセージを吐く cli 24 0へぇ あまり知られていませんが、 logger というコマンドを使うと syslog にメッセージを吐くことができます。 吐かれたメッセージは設定によりますが、 /var/log/messages などで読み取ることができるので、ちょっとしたスクリプトのエラー出力先として便利です。 例えば下記のようなコマンドを書くとその下のようなメッセージが残ります。 echo "testtest" | logger -i -t hoge -p local0.info Oct 23 21:45:06 sailane ho
crontabの"-i"オプションで"-r"のうっかりミスを防止する - 元RX-7乗りの適当な日々
今、お風呂からあがって、TwitterのTLを見てたら「crontab -e は「絶対に」使ってはいけない - ろば電子が詰まつてゐる」のエントリを読んで、その勢いで書く。 crontabコマンドにはrオプション(Remove)があり、これを実行すると何の警告もなく全てが消え失せる。 crontab -e は「絶対に」使ってはいけない - ろば電子が詰まつてゐる 確かに、(僕も含めて) 誰もが一度くらいは怖い/ドキドキするような思いをするのかもしれないですが、crontabコマンドには"-i"オプションという、削除時に確認のプロンプトを出してくれるオプションが存在します。 つまり、aliasでこのオプションをつけておけば良いわけですな。 $ crontab -e crontab: installing new crontab $ crontab -r $ crontab -l no cro
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
pv コマンドでパイプの流れ監視する
cles::blog 平常心是道 blogs: cles::blog NP_cles() « Android アプリのパーミッション、気にしてますか？ :: 散髪しました » 2012/05/26 pv コマンドでパイプの流れ監視する cli 19 1へぇ pv というパイプを監視するコマンドが面白かったのでメモ。 ivarch.com: Pipe Viewer pv - Pipe Viewer - is a terminal-based tool for monitoring the progress of data through a pipeline. It can be inserted into any normal pipeline between two processes to give a visual indication of how quickly data is
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
.screenrc をリロードする