はじめに 皆さんのログに対する理解はどんなものでしょうか？仕組みから設計方法まで完璧に理解しているエンジニアもいれば、なんとなく使用しているエンジニアも多いことでしょう。 ログとは、システムに着いてエラーや障害の発生、利用者による操作や設定の変更、外部との通信などを時系列に記録したものです。ログに関する理解を深めることで、複雑なシステム開発や運用が可能となります。また、AWS、Azure、GCPなどのクラウドサービスを利用している場合はシステムの開発が可能になるだけでなく、経費削減に繋がる可能性も考えられます。 本記事では、ログの基本を押さえるためにその設計方法について解説します。少しでも自信がない方は、ご一読ください。 ログを出力する理由は？ ログの基本や、ログの設計について解説する前にそもそもログを出力する理由を押さえましょう。大きく4つの理由が考えられます。 ・問題が発生した時に調査
2024年1月2日18時前ごろ、新千歳発・東京/羽田行のJAL516便（エアバスA350-900、JA13XJ）と、海上保安庁所属「みずなぎ」（DHC-8 Dash 8、JA722A）が羽田空港C滑走路で衝突する事故が発生しました。 ※事故自体の経過についてはNHKの記事などをご覧ください（随時更新されるようです）。 要約Flightradar24など、航空機追跡サイトはボランティアによる受信で成り立っている 海保機は「ADS-B」に対応していなかったので、航空機追跡サイトでは低高度（地上走行中）に表示されなかった 加えて、Flightradar24は自主規制によって海保機の位置を表示していなかった 「ADS-B非対応」はトランスポンダを積んでいないという意味ではない。トランスポンダは積まれていたし、管制側のレーダーには表示される ADS-B非対応機は民間機にも存在するため、海保機のみが特
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
運用出来るWebアプリケーションの作り方
はじめに 先日、下記のようなツイートを見つけて、そういえば趣味で個人開発してたときには然程気にしてなかったけど、仕事で運用するようになって先輩たちから学んだり自分で身につけたチップスってちょこちょこあるよねー、とふと思ったので、Webアプリケーション開発に関わるものをいくつかまとめてみました。 特に体系的/網羅的という程でもないですし、最近はFWや色々な仕組みでカバーされてるものも多いですが備忘録として。 Tips 機械が読めるログを作る これは割と重要なのですが、ログは人間が読むものではなく機械が読むものです。それはZabbixだったりDatadogだったりSplunkだったりgrep/awkだったりツールは何でも良いのですが、古の時代はさておき現代ではログは機械が読めることが最重要です。 まず大前提として構造化されている必要があります。言うまでもないですが「フリーフォーマット」のログの
この記事は、株式会社カオナビ Advent Calendar 2023 の3日目です。 はじめに 株式会社カオナビの高橋(@kunit)です。 今回は MySQL バージョンアップ(5.7 -> 8.0) で起きた問題とそれに対してどのように対処したのかを書いていこうと思います。 何が起きたのか MySQL 5.7 から 8.0 にバージョンアップをするにあたって、CI およびローカル環境でテストができるように MySQL 8.0 のイメージを作成し、それをつかって各機能の担当者にテストを開始してもらっていたのですが、以下のような事が起きました。 接続を MySQL 5.7 から 8.0 に切り替えただけでテストの時間が3倍くらいかかるようになった そこを変更するだけで3倍遅くなるってやばいぞということで報告してくれた担当者と同じテストを自分でも実施してみると再現性があり、それが以下のどの
AWSのログ管理ベストプラクティス
Justtechtalk #9でお話した資料になります！
あなたのPHPアプリ、ログはでてますか？あるいはログをだしてますか？ / Are you writing a log? Or just out a log?
PHPカンファレンス福岡 2023 2023/06/24 uzulla
問題のある実装パターン 共通実装 以下のような applog パッケージ上のロガー実装を考えましょう。ここでは Go 標準の log.Logger をラップしていますが，様々な実装に拡張できることを想定しています。 package applog import ( "fmt" "log" "os" ) type Logger interface { Info(message string) Error(message string) } func NewLogger() Logger { return &logger{ inner: log.New(os.Stdout, "", log.LstdFlags), } } var _ Logger = (*logger)(nil) type logger struct { inner *log.Logger } func (l *logger)
構造化ログのプラクティスをあちこちで調べていたら、logfmtを推奨する記事を見つけたので調べてみました。 先に結論を言うと、JSON linesを使っておくのが良さそうです。 logfmt について logfmtとはスペース区切りで key=value を並べたフォーマットです。文字列にはクォートとエスケープによってスペースや改行を含められます。 at=info method=GET path=/ host=mutelight.org fwd="124.133.52.161" dyno=web.2 connect=4ms service=8ms status=200 bytes=1653 (logfmt から引用) あちこちで logfmt のリファレンスとして紹介されているのはこの記事です。 https://brandur.org/logfmt 発明されたのはどこか分かりませんが、流行
ネット記事に発信元情報 偽情報の拡散抑止、来年開始へ ｜ 共同通信
全国の新聞社やテレビ局、IT企業、広告代理店が加盟する団体が、偽情報の拡散を抑止するため、インターネット上の記事や広告に発信元の情報を付ける技術の開発を進めている。ユーザーが発信元を確認して、信頼できる情報かどうかを判断しやすくする。 この技術は「オリジネーター・プロファイル（OP）」と呼ばれ、記事や広告に、第三者機関が確認した発信元の企業情報やコンテンツの編集方針をひも付け、表示する仕組み。来年、米グーグルの「クローム」などの閲覧ソフトにこの機能を追加できるようにする計画だ。 ネット上には真偽不明の情報も多い。報道機関の配信記事の見出しや内容を改ざんするケースも発生している。生成人工知能（AI）の技術進化で、コンテンツが真正かどうかを見極めるのが難しくなっている。 OPの技術研究組合の理事長は「日本のインターネットの父」と呼ばれる村井純・慶応大教授が務める。村井氏は「偽情報の拡散が抑制さ
もっと log/slog を使おう
はじめに この記事は Go アドベントカレンダー 2023 の最終日 25 日目の記事です。 皆さん log/slog 使ってますか。便利なのでぜひ使ってください。 slog は構造化ログを出力する為のパッケージで Go 1.21 で導入されました。これまでも zap や zerolog といったサードパーティ製のロガーを使う事で構造化ログを出力する事ができましたが、構造化ログを出力する機能が Go の標準ライブラリになりました。 slog とは 通常の log パッケージは、時刻とメッセージの単純な出力になります。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今さら聞けないログの基本と設計指針 - Qiita
JAL機と衝突した海上保安庁機(JA722A)がフライトレーダーに表示されない理由｜ryo-a (vitya)
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
MySQL 5.7 から 8.0 にしたらテストが激遅になった - Qiita
なぜ Go ではロガーをコンストラクタ DI してはならないのか
構造化ログのフォーマット logfmt vs JSON lines - methaneのブログ