GitHub - bensadeh/tailspin: 🌀 A log file highlighterYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
失敗したテストのログだけを出力するぞ - おもしろwebサービス開発日記
表題の通りのことができるgem、CiLoggerが便利ですよという話です。 私達は大量のテストをCI上で実行しています。テスト結果を見れば失敗理由が自明なものもありますが、E2Eテストなどでよく起きる「たまに失敗するテスト」の調査はログやスクリーンショットなど、可能な限りの情報を集めないと根本原因がつかめないことが多いです。 そんなときに、特に考えずRailsデフォルトの設定(config.log_level #=> :debug)のままにしておくと、膨大なログの中から該当するテストに関連する行を探し当てる作業が必要になります。これは事前の準備なしではほぼ不可能です。 事前の準備として簡単に思いつく方法は、テスト前後で「どのテストが開始/終了したか」をログに出力することです。 config.around do |example| Rails.logger.debug("start exam
コマンド一発でウェブサイトのアクセスログをターミナルやウェブブラウザで可視化できる「GoAccess」レビュー
ウェブサイトのアクセス数や訪問者の属性を分析するために「Google Analytics」を使っている人は多いはず。無料のオープンソースソフトウェア「GoAccess」を使うと、トラッキングコードをウェブサイトに埋め込むことなく、リアルタイムにアクセス状況をターミナルやブラウザ上で可視化することができます。 GoAccess - Visual Web Log Analyzer https://goaccess.io/ 今回はUbuntu 18.04上にGoAccessをインストールしてみます。最新版をインストールするには下記コマンドを実行すればOK。 echo "deb http://deb.goaccess.io/ $(lsb_release -cs) main" | sudo tee -a /etc/apt/sources.list.d/goaccess.list wget -O -
dockerのlog周りの対応 - Carpe Diem
概要 dockerを本番運用する際にログの扱いに悩んだので情報をまとめてみました。 環境 docker v1.12.1 コンテナのログは何処に渡すべきか 主に以下の３通りになると思います。 コンテナ内に保存 volume先に指定してに永続保存 log driverを使って転送 a. コンテナ内に保存 何も設定しないとコンテナに保持されます。 メリット 何も設定しなくていい デメリット 当然コンテナが破棄された場合はログファイルがなくなります。 b. volume先に指定してに永続保存 volumeを用いてホストに永続的に保存します。 参照が切れないように-v <host_path>:<container_path>とするか、--volumes-from <container_name>でデータ用コンテナに保持してください。 メリット コンテナを破棄したとしてもvolumeでそこを指定すれば
KubernetesにデプロイするDockerコンテナのログ形式を選ぶ - Qiita
TL;DR; プログラム的にparseやすい、構造化されたログメッセージを採用するとよいです。 また、構造化されたログメッセージにするためには、 ndjson形式(俗称? jsonlog) bunyan形式 logfmt形式 のいずれかをおすすめします。 なぜ構造化されたログメッセージがよいか? アプリケーションによって、デバッグや稼働確認、障害調査等の目的でログに含めたいデータは異なります。 アプリケーションの部分部分を担当したエンジニアによって、ログに含まれるデータのフォーマットが異なると、それが利用しづらい状態になってしまいます。 また、 KubernetesのCluster-Level Loggingにはfluentdが使われるということと、 アプリケーションが後の分析のためにログメッセージに付与しておきたいメタデータと、アプリケーションが動作している環境との関連付けのためにKub
LTSV 形式の Web サーバのアクセスログを集計するツールを作りました - tkuchikiの日記
LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外では動作確認していませんが、おそらく動作すると思います。 Usage Labeled Tab-separated Values (LTSV) の Labels for Web server's Log みたいに log を出力すれば、 $ ./alp -f access.log +-------+-------+-------+-------+-------+-----------+-----------+-----------+-----------+--------+----------+ | COUNT |
強固なデータ・インフラストラクチャを構築するためのログの活用（デュアル書き込みがダメな理由）PART 1. | POSTD
これは Craft Conference 2015 で私が行った 講演 を編集して記事にしたものです。その時の 動画 と スライド もご覧頂けます。 あなたのデータベースは、どのようにして確実にデータをディスクに保存しているのでしょう？ ログを使っているのです。 データベースのレプリカは、どのようにして他のレプリカと同期するのでしょう？ ログを使っているのです。 Raft などの分散アルゴリズムはどのようにして合意を取っているのでしょう？ ログを使っているのです。 Apache Kafka などのシステムでは、アクティビティデータはどのように記録されるのでしょう？ ログを使っているのです。 あなたのアプリケーションのデータ・インフラストラクチャはどのように規模相応の堅牢性を保つのでしょうか？ 答えは･･･ ログは至るところにあります。私はプレーンテキストのログファイル（syslogやlog
etsy/logster - GitHub - Parse log files, generate metrics for Graphite and Ganglia
Logster - generate metrics from logfiles Logster is a utility for reading log files and generating metrics to configurable outputs. It is ideal for visualizing trends of events that are occurring in your application/system/error logs. For example, you might use logster to graph the number of occurrences of HTTP response code that appears in your web server logs. Logster maintains a cursor, via a t
grepでログ解析をするなんてひどい話だ | POSTD
今でも、 systemdのjournal におけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者として働いてきており、1年以上も syslog-ng の オープンソースエディションのメンテナ として活動してきました。だからこそ、テキストではないストレージフォーマットに対して、なぜ多くの人が批判的なのか、私は理解に苦しんでいます。更に、反論を唱える人までいることが信じられません。もしかしたら、私は別世界の人間なのかもしれません。ですが、より良い選択肢があるのに、テキストのストレージを使う理由はほとんどありません。ロギングをする必要性、そしてなぜ、テキストのログストレージに対してそこまで用心深いのかについて、私は何度も尋ねられました。ここに、私が導き出した答えを紹介したいと思います。 これは、journalについて弁明する
The Logfile Navigator
Merge, tail, search, filter, and query log files with ease. No server. No setup. Still featureful. In Your Terminal Many logging tools, like Splunk, provide great features but are optimized for large-scale deployments. They require installing and configuring servers before they can be effectively used. There is still a need for a robust log file analyzer for the terminal. Easy to Use Just point ln
ビジネスインテリジェンスおよび分析ソフトウェア - Tableau Software
Tableau を使う理由 Toggle sub-navigation Tableau とは データカルチャーの構築 Tableau Economy コミュニティ Salesforce Advantage Tableau のお客様 Tableau について Toggle sub-navigation ミッション 研究 受賞と称賛 Tableau Foundation Tableau における平等 製品 Toggle sub-navigation プランと価格 Toggle sub-navigation Pricing Calculator Tableau プラットフォーム Tableau Pulse Tableau AI Tableau Desktop Tableau Server Tableau Cloud Tableau Prep CRM Analytics Tableau Publi
『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［パネルディスカッション編］ | gihyo.jp
鈴木：先のセッションで権限があったから入れましたという話が挙がっていましたが、インフラエンジニアだから入れられるというのは結構あると思います。 道井：インフラエンジニアは基本どこのサーバでもSSHログインできるため、勝手にFluentdを入れて、勝手にログをもってくることができます。 伊藤：待って、この話はあまり一般的でないと思う（会場：笑） 吉田：僕の会社も同じような感じです。2、3年前に、ログ解析やクエリログの収集をしたくなり、トレジャーデータのFluentdが良さそうだというのが分かりました。木曜にメールをして、翌月曜には全台にデプロイが完了していました。 伊藤：それはインフラエンジニアとしての業務にあたっていたんですか？ 吉田：趣味です。 伊藤：なぜ、皆さん趣味でやってるんですか（苦笑） 鈴木：僕はもともとはサーバサイドエンジニアで、インフラエンジニアの人にFluentdを入れるか
AWSから出力されるいろいろなログまとめ | DevelopersIO
こんにちは。望月です。 AWSではたくさんのサービスが提供されており、基本的にはそのサービスの中身はブラックボックスです。その機能を利用したいときには内部仕様を知らなくても全く問題ないのですが、障害調査の時などには、「AWSのサービスで何が起きていたのだろう」ということを確認するためにログが調べられると便利ですよね。 現在AWSで提供されているいくつかのサービスでは、各サービスのログがS3に定期的に転送されて閲覧可能になる機能が用意されています。この機能を利用すれば、時間が経過した後でも色々なモニタリングや調査ができるようになりますので、ロギング機能に関しては出来る限りOnにしておくことをお勧めします。 ですが、サービスによってログの形式や配信タイミングなどが異なります。 以下に代表的なサービスのロギング方式についてまとめてみましたので、まとめとしてご利用下さい。 まとめ ログの種類 保存
GoAccess - Visual Web Log Analyzer
What is it? GoAccess is an open source real-time web log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser. It provides fast and valuable HTTP statistics for system administrators that require a visual server report on the fly. Why GoAccess? GoAccess was designed to be a fast, terminal-based log analyzer. Its core idea is to quickly analyze and view we
InsightIDR - XDR & SIEM Platform - Rapid7
Unified SIEM and XDR is here InsightIDR is lightweight, cloud-native, and has real world vetting by our global MDR SOC teams. Let’s talk. Change your job without changing jobs Own your entire attack surface with more signal, less noise, embedded threat intelligence and automated response. Anticipate attackers, stop them cold Certain behaviors foreshadow breaches. Static rules can’t match our advan
Papertrail - cloud-hosted log management, live in seconds
Make Your Logs Work for You The days of logging in to servers and manually viewing log files are over. SolarWinds® Papertrail™ aggregates logs from applications, devices, and platforms to a central location. View Technology Info FEATURED TECHNOLOGY Troubleshoot Fast and Enjoy It SolarWinds® Papertrail™ provides cloud-based log management that seamlessly aggregates logs from applications, servers,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Log Management, Monitoring, SIEM Tools | Sumo Logic
サービスに寄り添うログ基盤/pepabo_log_infrastructure_bigfoot
trustpath/sequence · GitHub - High performance sequential log analyzer and parser
Fluentd でプラグインごとにログレベルを設定できるようになった件 : sonots:blog
