俺とおまえとawk - 俺たちのブログ
「EFK (Elasticsearch + Fluentd + Kibana) なんて甘えですよ、漢は黙って awk | sort | uniq -c ですよ」と誰かが言ってたような言ってなかったような気がするのでログさらう時に自分がよく使う awk 芸について書きます。 想定データサンプル こんなフォーマットで出る TSV 形式の Web アプリケーションログがあったとします。[TAB] はタブ文字です。 時間[TAB]ステータス[TAB]HTTPメソッド[TAB]URI[TAB]リクエストタイム 例えばこんな感じです。このログを awk 芸で処理していきます。 access.log 2014-12-05 12:00:00[TAB]200[TAB]GET[TAB]/api/v1/ping[TAB]0.017832 2014-12-05 12:00:01[TAB]200[TAB]POST[
Apacheのログから応答速度分布やエラー状況を分析する（原始的な方法） | TeraDas（テラダス）
遊びで Apache のログを分析した時のメモです。 Google Analytics や Chartbeat などのブラウザ側解析ツールも便利ですが、サーバの健全性を確認するには、Apache のログ解析もまだまだ不要とは言えないと思います。 awk の力技で解析するので、あまり巨大なデータでは無理がありますが、個人サイトに毛が生えたくらいまでなら十分使えるでしょう。 記事最後の参考ページをパクってちょっといじっただけですが、自分用の備忘録って事で。 なお、参考ページの方は、ステータスコード 500/200 の比率を出すワンライナー等なども作っておられます。 Apacheのログに処理時間を出力する設定まずは、Apache のログに処理時間が出力されていないと話が始まりません。 httpd.conf なりで combined 形式の最後に %D (処理時間をマイクロ秒で）を追加した Log
AWK Users JP :: awk でシングルクォートを扱う
PrintASingleQuote というドキュメントが AwkChannelWiki (awk の IRC で話題になった問題をまとめているところ) に書かれてあり、非常に面白いので翻訳してみました。 PrintASingleQuoteJapanese に翻訳したものを載せています。 IRC で翻訳して構わないか? と問い合わせたところ、「ここでやらないか?」と言われたので、AwkChannelWiki に載せましたが、こちらにも掲載しておきます。 翻訳はかなりいい加減なところがあるので、時間があれば訂正をしていきたいと思います。 シングルクォートを表示する ======================== この問題は何度も質問される内容なので、議論するのに値する問題です。 この良くある質問は awk の短所そのものを示しているのではありません。むし ろ、ほとんど常に shell のクォ
AWKのススメ - クックパッド開発者ブログ
はじめまして。インフラチームの菅原といいます。 今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。 さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。 今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。 なぜAWKなのか？ 残念ながらAWKの知名度はあまり高くないようで、社内でも「なぜRubyでやらないのか？」と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
