AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する | DevelopersIO
Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。 aws s3 ls s3://[バケット名]/[フォルダ名]/ --recursive --human --sum オプションの説明になります。 --human-readable(--humanだけでも可)：ファイルサイズに単位をつけて見やすくしてくれるオプション --summarize (--sumだけでも可)：合計サイズとオブジェクトの数を表示してくれるオプション --recursive：指定したフォルダの中にフォルダがあった場合にその中のファイルも対象にするオプション バケットごとの使用量やファイル数はCloudWatchで見
Amazon Athena Webアクセスログ、CloudFrontのログ、CloudTrailのログのパーティション設定を自動化する | DevelopersIO
はじめに Webアクセスログ（ELB）、CloudFrontのログ、CloudTrailのログは、YYYY/MM/DD形式のフォルダの下に自動的に保存されます。Amazon Athenaは、S3上のログファイルに対してテーブル定義して、クエリを実行できます。しかし、大量のログファイルを高速かつコスト効率よくクエリするにはパーティションを設定する必要があります。今回はこの煩雑なパーティション設定を自動化する方法をご紹介します。 カラム名あり（Hive互換）とカラム名なしのパーティション パーティションは、カラム名あり（Hive互換）パーティションとカラム名なしパーティションの２つに分類されます。 カラム名あり（Hive互換）パーティションは、フォルダ名がキーバリュー形式になっており、例えばyear=YYYY/month=MM/day=DD形式で保存されています。この形式はMSCK REPIR
[新機能]ワンクリックでAmazon AthenaのAWS CloudTrail用テーブルが作成できるようになりました | DevelopersIO
こんにちは。サービスグループの武田です。 Amazon Athenaは、Amazon S3に保存されたデータを標準的なSQLで分析できるサービスです。またAWS CloudTrailは、AWSアカウント内で行われた操作のイベントログを記録できるサービスで、ログはS3に保存できます。両サービスを組み合わせることで、CloudTrailが取得したログをAthenaで分析できます。 しかしこれまでは分析用のテーブルを自分で作成する必要があり、ややハードルの高さがありました。今回のサービスアップデートで、S3バケットを指定するだけで簡単にテーブルが作れるようになりました。 AWS CloudTrail Log Search Using Amazon Athena やってみた さっそくマネジメントコンソールにアクセスしてやってみました。 まずはマネジメントコンソールからCloudTrailにアクセス
![[新機能]ワンクリックでAmazon AthenaのAWS CloudTrail用テーブルが作成できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b57dafdec6169827ed19b57890ad883ece27ee1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FCloudTrail.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
