Amazon Athena Webアクセスログ、CloudFrontのログ、CloudTrailのログのパーティション設定を自動化する | DevelopersIO
はじめに Webアクセスログ（ELB）、CloudFrontのログ、CloudTrailのログは、YYYY/MM/DD形式のフォルダの下に自動的に保存されます。Amazon Athenaは、S3上のログファイルに対してテーブル定義して、クエリを実行できます。しかし、大量のログファイルを高速かつコスト効率よくクエリするにはパーティションを設定する必要があります。今回はこの煩雑なパーティション設定を自動化する方法をご紹介します。 カラム名あり（Hive互換）とカラム名なしのパーティション パーティションは、カラム名あり（Hive互換）パーティションとカラム名なしパーティションの２つに分類されます。 カラム名あり（Hive互換）パーティションは、フォルダ名がキーバリュー形式になっており、例えばyear=YYYY/month=MM/day=DD形式で保存されています。この形式はMSCK REPIR
[新機能]ワンクリックでAmazon AthenaのAWS CloudTrail用テーブルが作成できるようになりました | DevelopersIO
こんにちは。サービスグループの武田です。 Amazon Athenaは、Amazon S3に保存されたデータを標準的なSQLで分析できるサービスです。またAWS CloudTrailは、AWSアカウント内で行われた操作のイベントログを記録できるサービスで、ログはS3に保存できます。両サービスを組み合わせることで、CloudTrailが取得したログをAthenaで分析できます。 しかしこれまでは分析用のテーブルを自分で作成する必要があり、ややハードルの高さがありました。今回のサービスアップデートで、S3バケットを指定するだけで簡単にテーブルが作れるようになりました。 AWS CloudTrail Log Search Using Amazon Athena やってみた さっそくマネジメントコンソールにアクセスしてやってみました。 まずはマネジメントコンソールからCloudTrailにアクセス
![[新機能]ワンクリックでAmazon AthenaのAWS CloudTrail用テーブルが作成できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b57dafdec6169827ed19b57890ad883ece27ee1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FCloudTrail.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
