分析用ログデータに対する品質保証としての異常検知 - クックパッド開発者ブログ
クックパッドでデータにまつわるあれやこれやをずっとやってる佐藤です。分析・調査に仮説検証にデータパイプラインにと色々やってました。ちなみに先日はCyberpunk2077休暇をとるなどという呑気なことをしていたら、この記事でやりたかったことがほぼできそうなサービスがAWSから発表されて頭を抱えながら書いています。 そのログはどこまで信頼できるのか クックパッドではサービス改善のためにWebサイトやアプリからログを収集して開発を行っています。これらのログは集計された後、ダッシュボードの形で可視化されてサービス開発者たちの意思決定を支えています。 クックパッドのログ基盤はログ送信側（クライアントサイド）もログ格納側（DWHサイド）も十分に整っており、いつでも必要であれば簡単にログを送信・集計するだけの仕組みができあがっています。 アプリログにおける大雑把なログ収集の図 （注:例として上図を載せ
推測するな、計測せよ フォージビジョンのエンジニアが教えるパフォーマンス改善に必要なログ分析
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。前半は、クライアント側から見たログ分析について。 Webサービスのパフォーマンスとログ分析 山口正徳氏：山口と言います。よろしくお願いします。今日はみなさんお集まりいただきありがとうございます。なんと現時点で参加いただいているのが303人。こんなに多くの方に参加してもらえるとは思ってもいなかったので、変な緊張感に包まれています。カミカミなところとかがあったりしても、そこはあたたかい目で見てもらえればなと思います。 また、ログ分析勉強会のオンライン配信は JAWS-UG 札幌の三浦一樹さんに協力いただています。配信環境の設営、配信レイアウトの作成な
Webサービスエンジニアが教えるサーバサイドのログ分析 情報を可視化して負荷状況を見よ
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。後半は、サーバーサイドから見たログ分析について。 サーバ情報を可視化して負荷状況を見る 続いて、サーバの負荷状況を見るところですね。リソースの情報をコマンドで取得してサーバ情報を可視化しましょうというところです。 よく使うのは、1つ目はhtopですね。htopでプロセスごとにどれくらいのメモリやCPUを使っているかを取っていくのがあります。リクエストが多いときにこれを取っていって、どこが重たくなっているかを見るというのがいいかなと思っています。 例えばアプリケーションサーバと同梱されているものだったりとかすると、アプリケーションサーバの負荷がいき
AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
Kotlin Multiplatform Projectを使ってAndroidとiOSのログ送信部分を共通化した - エムスリーテックブログ
エムスリーエンジニアリンググループ マルチデバイスチーム所属の荒谷(@_a_akira)です。 弊社では、昨年の12月に医師向けの新規アプリをAndroid, iOS向けにネイティブ実装しリリースしました。 今回は、その際Kotlin Multiplatform Projectを用いてユーザの行動ログ送信部分を共通化した話をしたいと思います。 Kotlin Multiplatform Projectとは Kotlin Multiplatform Project(以後MPP)とは、 Kotlinで書かれた単一のコードを Kotlin/JVM,(Android, Server等) Kotlin/Native(iOS, Windows, Linux等) Kotlin/JS の各プラットフォーム向けにトランスパイル可能なプロジェクトのことです もっと詳しく知りたい方は 公式ドキュメントだったり、私
【Python】ログ出力をちょっと良くするライブラリ3種類【logzero・loguru・pylogrus】 - Qiita
ドキュメント: https://github.com/metachris/logzero, https://logzero.readthedocs.io/en/latest/ loggingの代わりに使える系のライブラリ。loggingを簡単に扱えるようにしたもの。 logzeroの使い方 デフォルト設定で使う from logzero import logger logger.trace("sample trace level log message") logger.debug("sample debug level log message") logger.info("sample info level log message") logger.warning("sample warn level log message") logger.error("sample error le
セキュリティ業務における「ログ」の基礎知識――なぜ分析基盤が必要なのか
セキュリティ業務における「ログ」の基礎知識――なぜ分析基盤が必要なのか：セキュリティログ分析基盤活用入門（1）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。初回は、セキュリティログに関する基礎知識や分析基盤に求められることなどについて。 リクルートテクノロジーズのサイバーセキュリティ部の日比野です。これまで筆者は、オープンソースの全文検索エンジンである「Elasticsearch」を活用し、ログ分析システムの導入を行ってきました。現在は、リクルートテクノロジーズで次期ログ分析基盤の全体構想検討や新技術検証などを進める傍ら、そこで得た技術ナレッジを広く公開することに情熱を注いでいます。 「セキュリティ人材が約20万人不足している」と言われている中、特にセキュリティログ分析という領域は、フルスタックかつ高い技術力が要求されるにもかかわらずナレッ
ログローテーション(logrotate)を使ってみる ( httpd(apache)の設定例 ) | レンタルサーバー・自宅サーバー設定・構築のヒント
ログローテーション(logrotate)を使ってみる ( httpd(apache)の設定例 )
Nginxログローテートの設定の実例 - Qiita
ll /etc/logrotate.d/nginx -rw-r--r-- 1 root root 403 Nov 26 19:36 /etc/logrotate.d/nginx # Do not modify this file by hand! "/var/log/nginx/access.log" "/var/log/nginx/error.log" { missingok notifempty daily rotate 7 create 644 www-data root # permission と owner は適宜注意 compress delaycompress notifempty sharedscripts postrotate [ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid` endsc
Logrotateのインストールと設定
logrotateのインストールと設定 Gentoo Linuxでは各種アプリケーションが出力するログは /var/log/ ディレクトリの 下に出力されます。このディレクトリの中を眺めていると,Apacheやcron 等のログは,サイズが かなり大きくなっていることに気づきました。 Syslog経由で出力されるログ(例えば message.log等)は,cronにより実行される /etc/cron.daily/syslog により,ローテーションされていました。ローテーションとは 一定期間ごとにログを別ファイルにバックアップとして保存していき,バックアップされたログファイルも 一定期間ごとに破棄することで,ディスク容量の圧迫を防ぐ仕組みです。 Syslog経由ではなく,独自にログを出力しているApache等は,ログをローテーションさせて ログの肥大化を防ぐ必要があります。そのためのツール
rsyslogの導入
導入に必要な設定 syslogdの停止 rsyslogを標準syslogデーモンとして利用するため、syslogdを停止します。またsyslogdが自動起動しないよう、停止処理を行います。 自動起動の解除にはchkconfigコマンドを使用していますが、ntsysvやサービス設定ツールを使っても同じように自動起動解除ができます。サービス設定ツールは「デスクトップメニュー→システム→管理→サーバ設定→サービス」で実行できます。 # /etc/init.d/syslog stop ←syslogdの停止 # chkconfig --level 123456 syslog off ←syslogdの自動起動解除 # chkconfig --list syslog ←確認 syslog 0:off 1:off 2:off 3:off 4:off 5:off 6:off ←す
logrotate入門 - Qiita
この記事は株式会社ネクスト(Lifull) Advent Calendar 2016の3日目の記事です。 遅くなってしまいましたが、なんとか当日に間に合わせましたいました。 本記事はLinuxのlogrotateコマンドについての説明をするものであり、その他のログに関する話は一切出てきません。ご了承ください。 logrotateとは man logrotateにも書いてあることですがlogrotateは複数のログファイルを圧縮、削除、メールで送信するための機能です。 これにより「ファイルサイズがN以上になったら」とか「日次・週次・月次などで分割」などが容易に可能になります。 logrotate自体はデーモンではなくcrondによって実現されています。 利用する前にcrondが動いていることを確認しましょう。
MySQLに投げられたすべてのSQLクエリをロギングする - モヒカンメモ
概要 クエリビルダやORMが生成するクエリを確認したいなどの理由で、MySQLに投げられたクエリを確認したくなることがある そういうときは、MySQLのクエリログ (general_log) と言う設定をONにすることによって、すべてのクエリをログに吐かせることができる dev.mysql.com 5.2.3 一般クエリーログ 一般クエリーログは、mysqld の実行内容の一般的な記録です。サーバーは、クライアントが接続または接続解除したときに情報をこのログに書き込み、クライアントから受け取った各 SQL ステートメントをログに記録します。一般クエリーログは、クライアント側でエラーが疑われるとき、クライアントが mysqld に送信した内容を正確に知りたい場合に非常に役立つことがあります。 やってみる 1. 現在の設定を確認する mysql> select version(); +----
アプリケーション動作ログ、ERRORで出すか? WARNで出すか? 〜 岡山城で話してきました #cmdevio2019 | DevelopersIO
旬の生魚おじさん、都元です。旬かどうかは分かりませんが、最新数週間連続でマテ貝を売っているのにお目にかかりました。これはもう、酒蒸しですよ。最高ですよ。あ、魚じゃなかった。生でもなかった…。 さて先週末。2019-04-06 にDevelopers.IO 2019 at 岡山城を開催し、そこで「アプリケーション動作ログ、ERRORで出すか? WARNで出すか?」と題しましてお話をさせていただきました。そのレポートをお送りします。 スライドとセッション概要 アプリケーションのログ、出してますか？ 欲しい情報が出てますか？ 要らない情報いっぱい出てませんか？ 出すか出さないかの判断は、何に基づいて決めていますか？ そもそも何のためにログ出してますか？ そこでログが出るのは正しいですか？ ここでログが出ないのは正しいですか？ そのログは INFO で出すべきものですか？ それとも DEBUG で
AWS CloudWatch Logsを見やすくするツールを作った - Qiita
概要 AWS CloudWatch Logsの表示が見にくすぎるというのは全人類が抱える問題だと思いますが、それを見やすくするCLIツールを作りました。 既にawslogsというツールがあり、こちらも便利なのですがロググループをまたいでtailすることが出来なかったので自分で作りました。 あと個人的にはPythonのCLIツールをグローバルに入れたくな... 他にもいくつかツールあり、そちらと比べて機能的に大きく異なるわけではないので、今困ってない人は良いと思います。色合いが良い感じとかふわっとした部分は結構違うと思います。 Utern 以下に置いてあります。 https://github.com/knqyf263/utern sternというKubernetesでログを表示するのに使われる便利なツールがあるのですが、それを参考に作ったのでuternというツール名にしました。意味は特にない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCPで行動ログ基盤 を開発している話
[CentOS7.4] logrotateサービスを入れて日次でログを保存しよう - Qiita![[CentOS7.4] logrotateサービスを入れて日次でログを保存しよう - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/befaf2ba899708e8b43694e6d73df83b91453c40/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQ2VudE9TNy40JTVEJTIwbG9ncm90YXRlJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkzJUUzJTgyJUI5JUUzJTgyJTkyJUU1JTg1JUE1JUUzJTgyJThDJUUzJTgxJUE2JUU2JTk3JUE1JUU2JUFDJUExJUUzJTgxJUE3JUUzJTgzJUFEJUUzJTgyJUIwJUUzJTgyJTkyJUU0JUJGJTlEJUU1JUFEJTk4JUUzJTgxJTk3JUUzJTgyJTg4JUUzJTgxJTg2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01Yjc4NWZkMmFhMzAwYjUzZGVjMDYyNGIxOWUxMDlmMg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdG9zaXRlMDM0NSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NTExZTI0OTNkNzE5MDY0OGU4ODAzZWFhMDkwZjk2ZjY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Db2acc7fd6e54a2fde9b02ae15c7636f1)
rsyslogでシステムログ管理 - Qiita
ログローテーションの設定方法 - Qiita
【 logger 】コマンド――システムログに記録を追加する
