kubernetes使いは全員 stern を導入すべき
まぁこれは基本的に膨大なログを見ている時に、ピンポイントで絞り込み検索をするという行動を前提としてるからだと思うんだけど、デバッグとかしてるときは「スゴク、コレジャナイ感…」がするわけです。 なので、そんな時はもう素直にkubectl get podsして、kubectl logs -f …. している自分がいました。 まぁこれでも充分なんです。充分なんですけど、辛い事が二つあって。 まず複数のコンテナにロードバランスされるペイロードに関しては自分が見てるコンテナにアクセスが来るとは限らないから全部のコンテナのログを見てるか、自分の見てるコンテナにアクセスが来るまで読み込み続けなければならない。 もうひとつは、開発をしている間の話なので、kubectl applyでdeploymentをガンガン入れ替えているのでコンテナもどんどん世代交代するわけです。そうすると… そう、当然コンテナはデコ
『リングフィット アドベンチャー』初歩的な方法と膨大なログの中にこそお宝が！ ゲーム開発を円滑に進めるためのprintf活用術【CEDEC 2020】 | ゲーム・エンタメ最新情報のファミ通.com
2020年9月2日～4日まで、CEDEC公式サイトのオンライン上にて開催された日本最大のコンピュータエンターテインメント開発者向けのカンファレンス“CEDEC 2020”。開催3日目となる9月4日、『リングフィット アドベンチャー』を手掛けた任天堂・企画制作部の稲葉翔氏が登壇し、同作向けに開発されたログ収集ツールの制作過程とその活用法を説明した。 稲葉氏たちは、『リングフィット アドベンチャー』の制作に際して、ゲーム制作用のログを大量に呼び出せる“printf（プリントエフ）”に着目。このC言語を用いて収集したデータを効率よく分析することが、ゲーム開発を円滑に進めるためのカギであると考えた。 そこで、“ゲーム開発のためのprintf”をツールとして独自に制作。本作の開発環境の向上に大きく貢献したのだ。今回の講演では、その“ゲーム開発のためのprintf”をどのように制作し、いかに活用してい
大規模システムにおける5つのログ転送パターン
成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。
Kubernetes 上のアプリケーションから Stackdriver Logging に構造化ログを送る - スタディサプリ Product Team Blog
SRE チームの @yuya-takeyama です。 Quipper の SRE チームでは AWS や Kubernetes を用いたインフラの構築、CI/CD パイプラインの構築・改善等様々な Developer Experience の向上、社内のあらゆるサービスのマイクロサービス化のサポート、そしてそれに伴う複雑化にも耐え得るよう、サービスの安定稼働を支えるためのルール・ツール群を整備しています。 今日はその中でも、簡単かつより精緻に Logs-Based Monitoring が行えるよう、GCP の Stackdrider Logging に構造化ログを送る方法について紹介します。 構造化ログとは ここではとりあえず「Machine-Readable なログ」として定義します。通常のログはテキストベースの Human-Readable なもので、UNIX 哲学においては行指向
構造化エラーをログ出力する
Go 1.13 のリリースに合わせて spiegel-im-spiegel/errs パッケージを公開したのだが，このパッケージで構成した構造化エラーをログ出力することを考える。 まぁ標準の log パッケージでエラーメッセージを出力してもいいのだが，せっかく JSON 形式で出力できるようにしたんだから，ログ出力も JSON 形式にしたいよね。 ちうわけで，今回はこれを使います。 てってれー rs/zerolog: Zero Allocation JSON Logger まずは準備として以下の関数を考える。 import ( "os" "github.com/spiegel-im-spiegel/errs" ) func checkFileOpen(path string) error { file, err := os.Open(path) if err != nil { return
tail -Fなどの標準出力を一定時間ごとに指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンド evry を作った - Copy/Cut/Paste/Hatena
ログの流量やサマリを、カジュアルに、そしてリアルタイムに確認したかったので作ってみました。 github.com これはなに 標準入力の内容を、一定時間ごと（もしくは一定行ごと）にまとめて指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンドです。 使い方 例えば、「NGINXの10秒あたりのリクエスト数を確認する」には、以下のように evry で10秒ごとにまとめた標準入力を wc -l に渡します。 $ tail -F /var/log/nginx/access.log | evry -s 10 -c 'wc -l' 8700 1260 8580 6430 [...] 例えば、「Apacheの1000リクエストあたりのアクセス先ランキング上位5を確認する」には、以下のように書けます（GNU sedを使用）。 $ tail -F /var/log/httpd/access.
Docker 1.8 の Fluentd logging driver でコンテナログをフォワードする - Qiita
Docker は 1.6 から Logging Drivers というのが追加され、コンテナからのログというものをどのように扱うかをドライバとして差し替えできるようになったとのこと。 そして Docker 1.8 からは Fluentd logging driver が追加され、ログ自体を fluentd を通した状態で扱えるようになりました。ログに fluentd の tag が付与された状態になるので、fluentd 集約サーバへ転送することであとは自由に操作することができそうです。 Fluentd 集約サーバ Docker の Fluend logging driver によって転送される先となる Fluentd 集約サーバを用意します。今回はこの Fluentd サーバも Docker コンテナとして動作させることにします。 Docker Hub に Fluent コミュニティから
ええっ！？ 文字列で書くの！？ ログレベル付きロガーhashicorp/logutilsのご紹介 - Qiita
全世界100万人のコンパイルエラーラバーの皆さんこんばんは、この記事はGo Advent Calendar 2017の18日目の記事です。 標準パッケージのlog Goで作るものはミドルウェアだったり、Webアプリケーションだったり、CLIツールだったり様々だと思いますが、ちょっと凝ったことをするとついてくるものといえばロギングですよね。Goにはlogという標準のログライブラリがありますが、 標準パッケージなのでimport "log"だけで使える インターフェイスがシンプル。だいたいfmt 複数goroutineから扱っても混ざらない そのまま使っても時間が出る などなど、最低限の実用性があります。ただ、他の言語のロガーと比べると、 ログレベル 構造付きログ などの機能が不足していると言えます。 よく使われているロガー そもそもこの記事を書くきっかけとなったのが、Go Conferenc
MySQLスローログの手動ローテート
MySQLスローログの手動ローテート 2012-11-13 MySQLのスローログは、通常それほど大量に出るものではないからか、自動でローテートされるような設定は特にない。しかし、負荷が上がったりしてスローログが大量に出てしまい、ローテートしたい場合はよくあるだろう。手動でローテートする場合は以下のように行う。 この例は、MySQLのデータディレクトリ(datadir)が /var/lib/mysql で、スローログファイル名(slow_query_log_file)がmysql-slow.logの場合。 $ cd /var/lib/mysql $ mv mysql-slow.log mysql-slow.log.old $ mysqladmin flush-logs または mysql> flush logs; mysqladmin flush-logs あるいは flush logs
Graylog ではじめるログ管理 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
Building DistributedLog: High-performance replicated log service
Infrastructure Building DistributedLog: High-performance replicated log service At Twitter, we’ve used replicated logs to address a range of challenging problems in distributed systems. Today we’d like to tell you about DistributedLog, our high-performance replicated log service, and how we used it to address one of these problems. Last year, we provided an in-depth look at Manhattan, Twitter’s di
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Shopify/rotoscope: High-performance logger of Ruby method invocations
片頭痛ログを振り返ってみる
Best practices for collecting and managing all of your multi-line logs
Logging and viewing logs | Cloud Run Documentation | Google Cloud
MySQLにWEBアプリのログを保存しているケースの8割くらいが幸せになる方法
GitHub - Songmu/timestamper: text transformer to put timestamps. It is very useful for logging.
GitHub - tkuchiki/alp: Access Log Profiler
[Ruby] 例えば、Rails の標準ログを止める - sonots:blog![[Ruby] 例えば、Rails の標準ログを止める - sonots:blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/da78a05937633f7a2b4b2219826151c370cd607b/height=288;version=1;width=512/https%3A%2F%2Fparts.blog.livedoor.jp%2Fimg%2Fusr%2Fcmn%2Fogp_image%2Flivedoor.png)
サービスに寄り添うログ基盤/pepabo_log_infrastructure_bigfoot
