AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
個人的AWS ログ管理のベースライン - mazyu36の日記
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
AWS上でログを収集[S3]→加工[Glue]→閲覧[Athena]してみた！
この記事はAWS for Games Advent Calendar 2022の25日目の記事です。 皆さんはログの扱いに慣れておりますでしょうか？ 必要なログは全て綺麗に ETL していつでもばっちり見れる状態です！ となっていればどんなに良いことか、、中々後回しにされがちな部分かと思います。弊社でも様々なゲームが平行稼働している中、 大量のログがローテートされてサーバから消えていく タイトル別でうまくいい感じに一か所で管理したい 何かインシデントが起きた時、急いでいる時にサーバに SSH してログを漁りたくない さっと見れるようにしたい みたいな話がありつつも、中々手を付けられずにいました(主に syslog 周り)。今回 AWS さんの協力もあり、技術取得の一環で検証をスタートしてみました。「ログを S3 に集めて、 Glue でなんやかんや加工してみて、 Athena でいい感じに
![AWS上でログを収集[S3]→加工[Glue]→閲覧[Athena]してみた！](https://cdn-ak-scissors.b.st-hatena.com/image/square/96f7b0374db19c1bde6f7622a5d504a40a1b8173/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00035-aws-log-etl%2Ffeature.png)
Fluentd 集約ノードのオートスケール - クックパッド開発者ブログ
こんにちは、技術部 SRE グループ アルバイトの小川です。この記事では、クックパッドでコンテナログの処理に利用している Fluentd ノードのオートスケール対応について紹介します。 クックパッドでは Amazon ECS を用いてコンテナ化されたアプリケーションをデプロイしています。クックパッドでの ECS の利用については過去の記事をご覧ください。 ECS 上で動くコンテナのログを閲覧するために、標準的には Amazon CloudWatch Logs を利用する方法があります。しかし、クックパッドではログ量やコストの問題で CloudWatch Logs は利用せず、独自のログ配送基盤を構築して運用しています。具体的には、ECS のコンテナインスタンスで実行している Fluentd から複数の Amazon EC2 インスタンスで構成される Fluentd 集約ノードにログを転送し
CloudWatch Logs メトリクスフィルターにより発行されたメトリクスの画面から「ログの表示」を押してフィルターパターンにマッチしたログをお手軽に検索する | DevelopersIO
この「ログの表示」を押したらどうなるんだろう コンバンハ、千葉（幸）です。 突然ですが皆さんは以下の画面の「ログの表示」を押したことはありますか？ これは CloudWatch コンソールのメトリクスの画面です。[アクション] → [ログの表示] という項目が用意されていますが、わたしはつい最近まで気にしたことがありませんでした。 「オッ ちょっと気になるな」とメトリクスの画面を覗いた方、多くの場合 該当箇所がリンクになっていたのではないでしょうか。 このリンクは押してもそこまで面白くありません。 今回取り上げたいのはひとつ目の画像のパターンです。メトリクスフィルターを使っているときにめちゃくちゃ便利じゃん……となったので、その押し心地を紹介します。 メトリクスフィルターによるメトリクスの発行 先にメトリクスフィルターについて基本的な部分を押さえておきましょう。 メトリクスフィルターは C
Goのロギングライブラリ 2021年冬 - moriyoshiの日記
この記事はPySpa Advent Calendar 2021の14日目のエントリーとして書かれました。昨日のエントリーは冷凍食品でウキウキ引きこもり生活 でした。ちなみに私も70ℓの冷凍庫を購入しましたが本当にライフチェンジングでした。 総論: なぜログが必要か 可観測性 たとえ目的は自明でも、その動作までが自明なアプリケーションというものはほぼ存在しません。現実の世界のアプリケーションというものは、動作パラメータだったり実行環境だったり、起動時点でのさまざまな要因によって挙動を変えるものだからです。そして、そうしたアプリケーションにはライフサイクルというものがあります。ここでいうライフサイクルは、アプリケーションの処理が実行されるにつれ、アプリケーションの内外との情報のやりとりで生じる大局的な状態の変化のことです。アプリケーションが並行処理を行うようなものであれば、個々の並行処理の単位
大規模システムにおける5つのログ転送パターン
成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。
Logging Best Practices: The 13 You Should Know
Log Analytics Logging Best Practices: The 13 You Should Know When you search for things on the internet, sometimes you find treasures like this post on logging, e.g. creating meaningful logs. This post is authored by Brice Figureau (found on Twitter as @_masterzen_). His blog clearly shows he understands the multiple aspects of DevOps and is worth a visit. Our thanks to Brice for letting us adapt
ログ設計指針
概要 このドキュメントは、効率的かつ安定した、システム開発/運用をするためのログ設計指針です。 的確かつ無駄のない、ログ出力を目指します。 ログレベル ログの緊急度や用途により、以下のようにログレベルを設定する。 Log4j のログレベルを踏襲しているため、運用の状況によっては Critical などのレベルを適宜追加すると良い。 PHP における PSR-3 では、さらに細分化され emergency, alert, critical, error, warning, notice, info, debug となっている。 「出力先」「運用時の対応」は、各プロジェクトのポリシーに準じてください。 レベル 概要 説明 出力先 運用時の対応
WebServerに現れた怪しいアクセスの内容を分析 | 純規の暇人趣味ブログ
Webサーバを稼働させ、WWW上にWebページを公開していると、明らかにおかしいアクセスがこんにちはするのは皆さんご存知かと思われます。 とは言え、それらが何を企み、どこをどうしようとしているのかが分からないのは少々不安です。 いくつかパターンを抽出して調べてみました。 おかしな連中 残念ながら世の中には悪い連中が沢山居るみたいで…… いくつかの悪い奴らをご紹介しようと思います。 古いPHPMyAdminを狙う奴 参考:phpMyAdminを狙った攻撃観察 - ろば電子が詰まっている 209.126.107.196 - - [23/Mar/2015:14:18:46 +0900] "GET /phph/php/ph.php HTTP/1.1" 404 460 "-" "-" 209.126.107.196 - - [23/Mar/2015:14:18:46 +0900] "GET /php
サイボウズのログ基盤 2018年版 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。アプリケーション基盤チームの @ueokande です。 今日は、サイボウズの新しくなったログ基盤についてお話しします。 サイボウズのログ基盤の進化 リプレイス前のログ基盤 サイボウズのログ基盤はサービスの成長に合わせて、常に進化し続けてます。 そんななか2017年の夏に大きなリプレイス作業がありました。 サイボウズのサービスを支えるログ基盤 from Shin'ya Ueoka 以前のログ基盤は、ログを収集するホストがあり、各ホストからログを収集してました。 しかしログの転送システムが単一障害点であったり、スケーラビリティに欠けるのでサービスの成長に追いつかず、性能的にも限界に達してました。 また以前のログ基盤では、ログの解析がしにくく、ログはあるけどビジネスに役立てにくい状況でした。 そのため今後のサービスの成長や、より安定したログ基盤を運用できるように、ゼロから刷新するこ
logrotate によるログのローテーション
ここでは、ログの肥大化を防ぐためのログのローテーションについて解説していきます。syslog や他のプロセスが出力するファイルは放置していくとどんどんサイズが大きくなり、ディスクスペースを圧迫していきます。インストール時は/var ディレクトリのディスク占有率が0%であっても、数週間、数ヶ月経過するごとにあっという間に占有率が増大していることに気がつくと思います。しかし、これらの出力されるログを何世代分ローテーションさせるかといったことを予め決めておけば、指定した以上のファイルは作成されなくなり、その中でログがローテーションされていくのでログサイズの肥大化を防止することができるのです。RPMでパッケージをインストールしている方は、ほとんどログのローテーションをカスタマイズする必要はありませんが、ソースからコンパイルしてインストールした場合には、ログのローテーションは必須の作業となります。ま
数百万行あるログから、ごく一部分の期間を最短時間で取得 - Qiita
数百万行あるログから、ごく一部分の期間を最短時間で取得 課題 システムを運用していると数百万行を超える膨大なログの中から、ほんの数行のログを抜き出したいことがある。 それもできることなら時間もかけず、サーバーに負荷もかけずに行いたい。 検証 Vagrantで仮想マシンCentOS 6.4を立ち上げて検証。 実現するアプローチはいくつもあるが、今回は大きく2つを調べる。 ・sedコマンドで行数を指定して抽出 ・headで一度抜き取り、そこからtail どちらが短時間で目的を達成できるか検証した。 検証対象のファイルは500万行あるログファイルとし、 頭の方（ 1万行目～ 1万1000行目） 中の方（250万行目～250万1000行目） 下の方（499万行目～499万1000行目） の3パターンで検証した。 頭の方（ 1万行目～ 1万1000行目） 抽出条件 10,000件目から11,000件
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
議事録作成が早くなると仕事が少しは楽しくなる（かもしれない）話 - インターネットの備忘録
会議が終わった瞬間に議事録を出さないと何かこうトイレに行ったあと拭いてないみたいなキモチワルさが残るはせおやさいです、いかがお過ごしですか。 新入社員が最初にぶつかる壁の一つに「議事録作成に時間がかかる」があるんじゃないかなって思ったのと、議事録出せ出せ言われてもなかなか出せないのってチーム全体のストレスになるのでこういうふうにやるといいよ的なTipsを備忘します。 議事録の目的 参加者全員の備忘録 言った言わないを防ぐための予防 同席していない人への情報共有 あたりでしょうか。 あるのとないのとだと、1000％あった方がいいです。 そして議事録がちゃんと積み重なってログになってるプロジェクトの方が、うまくいく確率が格段に上がります。経験談です。マジです。 わたしは人間の記憶力はアテにならないことを信条としているので、自分も、そして相手も言ったことを忘れるものだという前提で、何があっても付
WEBサーバのログからアクセス数順にIPアドレスを抜き出すワンライナー - Qiita
$ cat /opt/nginx/logs/access.log | awk '{print $1}' | sort | uniq -c | sort -nr 1900401 10.21.11.21 64325 10.21.62.40 11434 101.155.17.53 518 101.155.17.78 264 101.155.25.53 96 101.155.33.170 24 102.10.123.55 16 102.10.157.178 15 102.11.138.100 3 107.11.125.51 1 107.11.125.50 Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back
iptablesを設定して日本のIPだけを許可する | DevelopersIO
shellを作ってみる Webサーバを立ち上げる機会が増えてきたので、事前にできる限りの対策はやっておこうと思い、国単位でのアクセス制御をやってみたので自分用のメモとして残します。 世界の国別IPv4アドレス割り当てリストが公開されていますのでその情報を活用させてもらうことにします。 動作させた環境はAWS Amazon Linuxです。 ※あくまでも以下はサンプルのシェルなので、適用する場合は自己責任でお願いします。自身すら入れなくなる可能性もあるのでご注意を。 #!/bin/sh IPLIST=cidr.txt # 初期化をする iptables -F # Flush iptables -X # Reset #iptables -P INPUT DROP # 受信はすべて破棄 iptables -P OUTPUT ACCEPT # 送信はすべて許可 iptables -P FORWAR
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
天下りログ
Kubernetes_Logging入門.pdf
http://blog.inouetakuya.info/entry/20130216/1361015295
