[B! bash] nharukiのブックマーク

処理が終わったらSlackで通知してくれるようにShellとPythonでスクリプトを書く - Qiita

背景仕事で頻繁にデータの取得や加工、分析の実行をサーバーのLinux環境で処理させることがある。処理が終わったかどうかはターミナル上でpsで確認するが、いちいち確認するのが手間。処理がこけている場合の対処を迅速に行いたい。よくある方法として、メールやSNSなどでメッセージをPOSTすることで検知する。私の職場ではSlackでのコミュニケーションが主流となっている。目的 SlackでメッセージをPOSTすることで処理が終わったかどうか判断する。前提 Slackアカウントは既に作成済みを前提とする。環境 ubuntu 14.04 Python 3.5.2 SlackにメッセージをPOSTするApps & Integrations Slackには様々なApps & Integrationsがあるよう。今回はその中でもよくネットと見かける以下2つの方法でメッセージをPOSTする方

nharuki 2023/05/23

bash
Slack

リンク

Bash: .bashrcと.bash_profileの違いを今度こそ理解する｜TechRacho by BPS株式会社

こんにちは、hachi8833です。社内Slackで見かけたmorimorihogeさんの以下の書き込みで目から鱗が落ちました。 ~/.bashrcで何かを出力してしまうと、rsyncなどのsshパイプで問題が生じることがあるそうです。参考: 知らないとrsyncでもハマるシェル初期化 - Qiita これをきっかけに、できるかぎり一次情報を元になるべく一般的になるようにまとめてみました。シェルスクリプト（.bashrcや.bash_profileなども含む）はあまりに自由に書けてしまい、LinuxディストリビューションやmacOSによって作法がまちまちだったりするので、外してはいけないポイントがどこかを知りたかったのでした。対象はbashとsh（Bourne Shell）に限定します。また、デスクトップGUIの設定ファイルについては最小限にとどめます。 bashのmanページ元記

nharuki 2023/05/17

リンク

Bash $((算術式)) のすべて - Qiita

算術式についてまとめます! 以下の衛星記事もご参照ください。 Bash $((算術式)) のすべて - A 基本編 - Qiita Bash $((算術式)) のすべて - B 罠・バグ回避編 - Qiita Bash $((算術式)) のすべて - C 応用編 - Qiita 本当はどうでも良い Bash 算術式の細かいことをメインで書きたいのですが、それだと余り役に立たない記事になってしまうので、基本も網羅します! 先ず節1に基本事項をまとめ、それ以降に他に書かれていない色々の注意点・応用方法などを簡潔にまとめます。ちゃんとした説明は附録記事に譲ります。これらの内容(特に節2以降)は、自分で算術式を使う過程で分かったこと・学んだことを基にしています。Bash のマニュアルに載っていないのは勿論のこと、他の場所にも載っていない情報を多く入れられたように思います。役に立つどうかは分か

nharuki 2023/02/13

いつもググるので・・・

bash

リンク

シェルのパイプの速度(進捗バー) は pv で - Qiita

シェルでコマンドをパイプをつなげている時、どれくらいの速度でパイプをデータが通過しているのか知りたい事がある。 pv コマンドを使うと分かる。 pipe viewer の略で pv らしい。使用例

nharuki 2021/05/07

linux
bash

リンク

bashのプロセス置換で遊んでみよう！ | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]

株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashインフラLinuxプロセス置換ファイルディスクリプタシェルスクリプトこんにちは、羽山です。今回は意外と知らないかもしれないbashの「プロセス置換」という機能を紹介します。 UNIXでは「1つのプログラムは1つの機能にとどめ、フィルタとして動作できるようにせよ」という設計思想があります。その言葉の通り、大抵のコマンドはパイプでつないでフィルタのように動作可能ですが、必ずしも理想的に設計されていない、もしくは仕様上できないコマンドもあります。例えば、よく使う diff コマンドがこれにあたります。指定するファイル名を - とすれば片方は標準入力から読み込めますが、もう片方はどうしても引数で指定しなければいけません。コマンドの実行結果を直接比

nharuki 2021/01/05

bash

リンク

シェルスクリプトを高級言語のような書き味に近づける Tips 集 | 創作メモ帳

Bash は言わずと知れた歴史あるコマンド言語です。テキストにコマンドの羅列を記述するだけで、手軽にシェルスクリプトとして実行することができます。シェルスクリプトの実体はシェルコマンドの羅列に過ぎませんが、手続き型プログラミング言語にあるような制御構文も備えています。変数や条件分岐、ループ、関数などです。これらを使えばシェルスクリプトでプログラミングも可能です。もちろん、現代の一般的なプログラミング言語と比べると機能は限られます。他の言語には見られないシェルスクリプト特有の癖や記法も数多くあり、最近の言語に慣れている人ほど、つまずくポイントが多いです。しかし、シェルスクリプトだからこその良さもあります。Bash は現在でも多くの OS で標準シェルとして採用されており、普段使っているシェルコマンドを書くだけで動かせる手軽さは何者にも代えがたいです。一度身につけておくと長く使えるお得な

nharuki 2018/12/12

bash
tips

リンク

この処理Pythonでどう書く？ - エムスリーテックブログ

EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。誤った運転方法により本来の性能を引き出せていなかったのである。（spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより）こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。しかし、実際にPythonで書き直そ

nharuki 2018/11/16

python
bash

リンク

bashスクリプティング研修の資料を公開します - エムスリーテックブログ

こんにちは、エンジニアリングGの中村です。以前にこのブログにてエムスリーでの社内研修について紹介しました。今回は、この中でのbashスクリプティング講座の資料を公開します。 www.m3tech.blog 弊社の中でもいろいろな用途でbashが使われていますが、bashは簡単に利用できるもののプログラミング言語としてはバグを生みやすい、辛い言語だと思います。ここで紹介しているのはいわゆるコーディング規則というよりも、バグ防止と可読性向上のためのルールをTips集的にまとめたものです。 bashにおいてまだまだ注意するところはありそうですが、多少なりともわかりにくいスクリプトの削減になればと期待しています。 [追記: 2018-08-22] はてブにて以下のコメントをいただきました。 bashスクリプティング研修の資料を公開します - エムスリーテックブログ bashで50行以上になった