データがどのように更新されてきたのか追跡する - クックパッド開発者ブログ
こんにちは。技術部の吉川です。 みなさんは、異常なデータを見つけたが、どうしてそのような状態になったのか追跡できず困ったという経験はないでしょうか。 今回は、そんなときにクックパッドで利用されているAuditログについてご紹介します。 Auditログとは クックパッドでのAuditログは特定のデータレコードに対して発生したイベントをコンテキストとともに記録するものです。 一般的に監査ログ、証跡ログといったものがありますが、それらとは多少異なっています。 ここでのイベントとは、あるデータレコードが 作成された 更新・変更された 削除された といったものです。またそれ以外にもログインした、ログアウトした、セキュアな情報が閲覧された、といったイベントも含まれています。 コンテキストは以下のようなものを記録します。 いつ どこで 処理が行われたホスト 何が イベント 何を 対象データの情報 スキー
エンジニア夏祭り2013「複数書式が混在するログをやっつける」解答編 #engineer #matsuri #hatena #ruby #夏祭り #夏の想い出 - CodeIQ Blog
CodeIQの中の人、OL元帥です。 「はてな」さんとCodeIQがタッグを組んだ『CodeIQ×はてな エンジニア夏祭り2013』 第1夜「はてなからの挑戦状」 LINE株式会社 tagomorisさんから届きました、 Ruby、その他の問題の解答・解説を公開します！ ◇◇◇◇◇◇◇◇◇◇ 解説 普段はLINE株式会社というところで働いています。tagomorisです。 今回の問題についての解説をしたいと思います。が、「想定時間 30分～」としたのは明らかにまずかったですね。自分で書き直してもギリギリでした。制限時間はなかったにしても、「1時間～」とかにしたほうがよかったかなと思っています。焦ってしまった人がいたらすみませんでした。 今回の問題では、言語はいちおうRubyになっていましたが、他の言語でも受け付けるとしました。挑戦者の中で使用されていた言語はやはりRubyが多かったですが、
【今日からできる】コミットメッセージに 「プレフィックス」 をつけるだけで、開発効率が上がった話 - Qiita
はじめに 今まで commit message を「なんとなく」書いていたが、プレフィックスをつけることで、コミットメッセージに対する考え方が変わった。 そのおかげで開発効率が上がったので、その内容をシェア。 プレフィックスをつけるってどういうこと？ 以下のようにコミットメッセージの先頭に、なんらかの文字をつけること。 feat: xxx という機能を追加 fix: yyy で発生するバグを修正 refactor: zzz の機能をリファクタ のように feat, fix, refactor などがプレフィックスです。 最近 OSS の Contribution Guide などでよく見かけます。 導入したプレフィックスルール Angular.js/DEVELOPERS.md Angular.js の開発者ガイドに書いてあるメッセージを参考にしました。 以前のコミットメッセージ（例 ちなみ
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
Lobiのログ集約・解析のはなし - KAYAC engineers' blog
Lobiチームの長田です。 あらゆるWebサービスがそうであるように、Lobiでも日々大量のログが出力されています。 今回はこのログをどのように集約・解析しているかを紹介します。 TL;DR アクセスログ・アプリログなど、毎秒10000行以上のログが生成されている Fluentdを使用しログを集約 consul serviceを利用した集約サーバーの冗長化 ログ中のイベント検知・集約にはNorikraを使用 アクセスログの各種解析にはAmazon Redshiftを利用 ログの集約 ログ収集エージェント Lobiではログの集約にFluentdを利用しています。 Fluentd | Open Source Data Collector | Unified Logging Layer ログファイルの集約にはfluent-agent-hydraを、Perlアプリケーション内からのログ送信にはFl
ログ収集を効率的に行うために知っておきたい、イマドキのログ収集基盤ツール8選 - LIVESENSE ENGINEER BLOG
創造開発部インフラグループです。 (中の人：水野、中西) 昨今、SaaS 系のインフラツールが台頭してきています。 リブセンスでもかつて nagios で行っていたサーバ監視は、mackerel へと置き換わっています。 自社で持つものを厳選し、出せるものは外に出していくことで Web 企業のインフラエンジニアとして注力したい箇所へリソースを割くためにもこの手の SaaS 系ツールには注目しています。知らないだけで便利なサービスは他にもあるだろうということでリサーチを開始しました。 今回は、数ある SaaS のツールの中でもログ収集系に絞ったまとめとなります。 サーバログを管理したい時 オペレーション時に複数のターミナルを開いてログを見ながら作業を行うケースは多々あるかと思います。これから紹介するツール群は条件などで絞ったログや複数ホストのログを1枚の画面で出力してくれるツールとなります。
Embulk をつかって検索ログを抽出する — みんなのウェディングエンジニアリングブログ
みんなのウェディング 高井です。 先日、当社で開発した embulk-filter-query_string という Embulk のフィルタープラグインをオープンソースとしてリリースしました。今回はその Embulk のプラグインをつかって、検索ログを抽出する方法を紹介します。 Embulk のユースケースとメリット たとえば、下記のような一般的なアクセスログがあったとします。このログは、ダミーのログを生成するスクリプトで生成したもので、よく利用される Combined Log 形式のものです。 200.198.91.50 - - [09/Mar/2016:06:34:01 +0900] "POST /search/?c=Software+Games HTTP/1.1" 200 101 "/category/toys" "Mozilla/5.0 (compatible; MSIE 9.0
ファイルをrmしたがプロセスがファイルを掴んでいる場合にそのファイル内容を再度得るには - 人間とウェブの未来
ど忘れしていたのでメモです。 LinuxでApacheのログローテート時に、プロセスをgracefulしたつもりが何らかの原因によりできていなくて、その後古いログファイルを圧縮して、いらなくなったその生ログファイルをrmしたつもりが、プロセスはそのログファイルのinodeを掴みっぱなしになっていて、古いログファイルにログを吐き続けていて困ったみたいな事があると思います。 その場合に、そのまま古いログファイルに吐き出さされているログをもう一度参照したいこともあります。差分がでてしまいますからね。 これinodeは掴みっぱなしだし、ディレクトリエントリからファイル名は消えているけど、fdもわかるから簡単にファイル内容取得できるはずだけどどうやるんだったかなーと思って試していたら、非常に簡単に取得できましたというメモです。 対象のプロセスからPIDを取得して、 ls -l /proc/PID/f
ELBを使ってアクセス元のIPを取る方法 | Basicinc Enjoy Hacking!
AWSを使うことで今までやりにくかったインフラの設定が簡単に試せるようになりました。 そんなAWSのサービスの中にELBという負荷分散装置、いわゆるロードバランサーがあります。 1回だけ実機のロードバランサーを見たことがあるのですが、そいつはちょっといい車が買えるぐらい値段のやつでした。 機能的には結構かなり高機能なものだったので、おそらくロードバランサーの部類でもかなり高いと思うのですが 安価なものでも、そうそう手が出せるものではありません。それに設定も面倒。（多分） それがELBを使うことでGUIでポチポチするだけで、簡単に設定することができちゃいます。 しかもアクセス数に応じて勝手にスケールするというおまけ付き。 なんてすごいんでしょうAWS。 転送料で料金が決まるというのも、初回のコストをおさえられるので大変たすかります。 ELBを使うとアクセス元IPアドレスがわからない？ ELB
LogFormatディレクティブ：ログファイルのフォーマットを定義する
Apache のアクセスログでは Apache にアクセスしてきたユーザーの様々な情報の中から項目を選んでフォーマットを作成し、フォーマットに従ってログを残ることができます。ここでは Apache のログファイルで使用するフォーマットを設定する方法について解説します。
MySQLのクエリログ・スローログ出力 - asa nisi masa
MySQL で実行されたクエリ、時間のかかっているクエリをログ出力したい。 環境 OS Windows7 CentOS5.7 MySQL5.1.13 参考 漢(オトコ)のコンピュータ道: MySQL 5.1のスロークエリログ MySQL :: MySQL 5.6 リファレンスマニュアル :: 5.2.3 一般クエリーログ http://tomo.ac/goodstream/database/mysql/linux/tips.htm MySQLのログファイル：老プログラマーの備忘録：So-netブログ 概観 出力の指定 方法はいくつかあるらしい。 起動オプションで指定する コンフィグで指定する ここでは、コンフィグで指定する方法を採った。 出力先 ファイル テーブル 手順 コンフィグで指定する場合、以下の手順を実施。 NO手順WINDOWSの場合LINUXの場合 1. 設定する my.ini
特定の条件でRailsのログ出力を抑止する - Qiita
にゃんぱすー ロードバランサのヘルスチェックで log/production.log が埋め尽くされるのが辛いので、特定の条件でログ出力を抑止する方法を調べたよ。 ロガークラスを作成する まず、Rails::Rack::Loggerを継承したCustomLoggerを作成する。 class CustomLogger < Rails::Rack::Logger def call(env) if env["REMOTE_ADDR"] =~ Moe::Application.config.action_dispatch.trusted_proxies and !env["HTTP_X_FORWARDED_FOR"] Rails.logger.silence do super end else super end end end ここでは、ロードバランサのIPアドレスはtrusted_proxie
ログに書き出すログレベルを変更する - Rails つまみぐい
Ruby on Rails v3.2.11 ログ情報のレベル分け ログに書き出される情報は以下の5つのレベルのどれかに分類されています。 :debug デバッグ情報 0 :info 一般的な情報 1 :warn 警告情報 2 :error エラー情報 3 :fatal 致命的なエラー情報 4 Railsが動作している時には、どのレベルの情報までログに書き出すかを決める”ログレベル”が設定されています。ログレベルが「:debug」であれば全ての情報がログに書かれ、「:warn」であれば:warn以上、つまり:warning, :error, :fatalの情報だけがログに書き出されます。 動作モードによってデフォルトのログレベルが決められています。 動作モード(RailsEnv) デフォルトのログレベル development :debug test :debug production :i
Railsのログに出力されるパラメータやSQLを整形する - ( ꒪⌓꒪) ゆるよろ日記
Railsのログに出力されるパラメータやSQLを整形してみた。開発中は便利かもしれない。 こんな感じになる。 詳細はこのコミットを参照。サンプルのアプリとしてRailsApps/rails3-bootstrap-devise-cancan · GitHubを使わせてもらった。 Apply pretty formating to logged sql/parameters · f734fb0 · yuroyoro/rails3-bootstrap-devise-cancan · GitHub SQLの整形には、sonota/anbt-sql-formatter · GitHubを使った。 Parameterは、michaeldv/awesome_print · GitHubを利用してる。ap便利。 ActionController::LogSubscriberやActiveRecord::L
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - matsuu/kataribe: Access log profiler based on response time
あなたの知らない
データベースのロギングの世界 / logging queries
ログ管理のベストプラクティス
git logでコミットの差分の中身で絞り込む - Qiita
[Ruby] 例えば、Rails の標準ログを止める - sonots:blog![[Ruby] 例えば、Rails の標準ログを止める - sonots:blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/da78a05937633f7a2b4b2219826151c370cd607b/height=288;version=1;width=512/https%3A%2F%2Fparts.blog.livedoor.jp%2Fimg%2Fusr%2Fcmn%2Fogp_image%2Flivedoor.png)
【Rails 高速化】ペパボのフリマアプリ「kiteco（キテコ）」の API を高速化したときのことを詳しく書いてみた - 彼女からは、おいちゃんと呼ばれています
