[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] | DevelopersIO
コンニチハ、千葉です。 CloudTrailの証跡ログは、マネージメントコンソールから過去90日間のものを検索できますが、90日以前のものは別途S3に保存したファイルを見る必要があります。で、少し前にCloudTrailの画面から対象のログに対してAthenaのテーブルをGUIでさくっと作れるようになっていたので試しました。 また、開発環境のリーソースを消してもいいものか？を確認したかったので棚卸し時に投げたクエリも載せておきます。 Athenaテーブルの作成 Athenaのテーブル作成は、CloudTrailの画面かクリックで作成できるようになっているのでそちらから作成します。 イベント履歴を選択し「Amazon Athena で高度なクエリを実行します」をクリックします。 CloudTrailのログを保存しているS3を選択し、「テーブル作成」をクリックします。 Athenaに移動をクリ
![[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b57dafdec6169827ed19b57890ad883ece27ee1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FCloudTrail.png)
ELBとCloudFrontのアクセスログをサーバレスに集約させてみた | DevelopersIO
Lambda処理内容 SNSのメッセージから、処理対象となるS3のバケット、キーを取得します。 ログの時刻情報として期待するカラムのデータが日付フォーマットに一致しない場合や、カラム数が異常なレコードはエラーレコードとして除外します。 「request」カラムに含まれるURLを「urlparse」モジュールを利用してパースし、解析時に利用頻度の高い「HOST」や「PATH」を事前に抽出します。 「json」モジュールを利用してJSONエンコードを行い、Firehoseに対しバッチ転送を行います。 4: Firehose 今回、出力先はS3のみとしましたが、Amazon Elasticserach Service、Redshiftと連係も可能です。 Firehoseのバッファ時間はELB(ALB)のログ出力間隔にあわせ、300秒としました。 Firehoseの後処理をLambda関数で実装す
Lobiで画像のWebp変換による通信量削減と調査のためにAWS Athenaを利用した話 - KAYAC engineers' blog
Lobiチームの吉村(moulin)です。 今回は、Lobiのチャットの投稿画像やユーザアイコンなどの画像ファイルをwebp形式で配信して通信量を削減した話について紹介します。 TL;DR 画像配信について 画像変換サーバのwebp変換対応 AWS Athenaを使ったCloudFrontのログの集計 画像配信について Lobiの画像配信ではAWS CloudFrontを利用しています。ユーザーから画像のリクエストがあった場合、CloudFrontにキャッシュが存在すればキャッシュを返します。無い場合は画像変換サーバにリクエストを渡して、画像を生成してもらいます。画像変換サーバが生成した画像をCloudFrontが受け取り、画像をユーザに配信します。一度ユーザに配信がされるとCloudFrontはその画像をキャシュするため、次からは同じ画像のリクエストが来た場合は画像変換サーバーにリクエス
Private Presentation
Private content!This content has been marked as private by the uploader.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
