[B! awk] HHRのブックマーク

awkが新しくなる！？本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita

はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian Kernighan の手によって追加されたと話題になった（参照）ことを覚えているでしょうか？ Brian Kernighan が誰だか知らない方がいるかもしれないので説明すると、オリジナルの awk の開発者の一人で awk の頭文字、Alfred Aho、Peter Weinberger、Brian Kernighan の一人です。通称「K＆R」の「プログラミング言語C」や「プログラミング言語AWK」

HHR 2023/09/17

awk

リンク

シェル・ワンライナー 160 本ノックを完走した - NTT Communications Engineers' Blog

この記事は、 NTT Communications Advent Calendar 2022 4 日目の記事です。こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦です。普段は OpenStack の開発・運用をしています。みなさんはシェル芸と聞いてどのようなコマンドを想像しますか？私は以下のような怖いコマンド 1 を想像していました # 無限に process を fork するコマンドです # 実行するときは自己責任でお願いします :(){ :|:& };: ですがシェル芸はもっと親しみやすくて 2 実用的なものです。私はシェル芸のシェの字もできないくらいシェル芸初心者だったのですが、 1日1問、半年以内に習得シェル・ワンライナー160本ノックという本を完走してシェル芸チョットワカルようになったので、本の宣伝をしつつ完走した感想を紹介しようと思います。 1日1問、

HHR 2022/12/04

awk
bash

リンク

【注意】POSIX awk は日本語文字 (UTF-8)を正しく扱うことが出来ません - Qiita

はじめに補足 UTF-8 を期待通りに扱える awk の実装もあります。扱える: gawk、Solaris (/usr/xpg4/bin/awk と /usr/bin/awk）扱えない: mawk、original-awk、busybox awk、macOS、FreeBSD 12.0、NetBSD 9.0、OpenBSD 6.6 論より証拠環境は Ubuntu 20.04.2。original-awk とは nawk のこと $ echo あいうえお | LC_ALL=ja_JP.UTF-8 gawk '{ print length($0) }' 5 $ echo あいうえお | LC_ALL=ja_JP.UTF-8 mawk '{ print length($0) }' 15 $ echo あいうえお | LC_ALL=ja_JP.UTF-8 original-awk '{ pr

HHR 2022/08/13

これだからシングルバイト県の連中は定期。この件に関しては中国と共にutf8の標準化を頑張るしかないのか…

Unix
awk

リンク

構造化テキストデータを操作するためのコマンドラインツールリスト | POSTD

テキストベースのファイル形式と、それぞれを（主にLinux上で）操作するためのコマンドラインツールのリストを掲載しています。目次 DSV XML,HTML JSON YAML,TOML INI 設定ファイルおまけ：単一ファイルデータベース用コマンドラインインタフェース（CLI）ライセンス情報開示 DSV CSV や TSV などを含む DSV（Delimiter-separated values、区切り文字で区切られた値）です。 Awk AwkはPOSIXで標準化されているコマンドラインツールで、DSVデータ処理用プログラミング言語です。Awkに関するリンクは以下のとおりです。 Awk.info — Awkに関する情報が豊富です。 AWK Vs NAWK Vs GAWK —プラットフォーム別実装の比較です。すでにプログラミング言語を使用してプログラミングをしている場合は、naw

HHR 2019/05/08

csv

リンク

シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌

シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌」のスクリプトの出力は以下のようになります。 i-ec56a9f5 vol-07d00601 servername i-ec56a9f5 vol-8f550991 servername このようなレコードの特定の列を取り出して、処理する際にどうするのが効率的か、というのがこのエントリのお題です。非常に古い話題なので、昔からシェルスクリプトを書いている人には自明な話ではありますが、最近、シェルの標準機能の話を聞く機会がなく、失われつつある技術になってきている気がしているので、改めて確認ということで。例として挙げたレコードから

HHR 2015/06/02

bash
awk

リンク

これは強力！ AWKとパイプの新しい関係～時刻を取得する関数、Socket通信、双方向パイプ

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

HHR 2015/01/15

dateの扱い

awk

リンク

俺とおまえとawk - 俺たちのブログ

「EFK (Elasticsearch + Fluentd + Kibana) なんて甘えですよ、漢は黙って awk | sort | uniq -c ですよ」と誰かが言ってたような言ってなかったような気がするのでログさらう時に自分がよく使う awk 芸について書きます。想定データサンプルこんなフォーマットで出る TSV 形式の Web アプリケーションログがあったとします。[TAB] はタブ文字です。時間[TAB]ステータス[TAB]HTTPメソッド[TAB]URI[TAB]リクエストタイム例えばこんな感じです。このログを awk 芸で処理していきます。 access.log 2014-12-05 12:00:00[TAB]200[TAB]GET[TAB]/api/v1/ping[TAB]0.017832 2014-12-05 12:00:01[TAB]200[TAB]POST[

HHR 2015/01/15

LTSV

awk

リンク

なるべく書かないawkの使い方 - ザリガニが見ていた...。

awkという、古くからのスクリプト言語がある。（1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない）man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。基本動作 awkの基本動作は、とってもシンプルである。