[B! AWS][athena] atsuizoのブックマーク

atsuizo id:atsuizo

AWSとathenaに関するatsuizoのブックマーク (2)

Amazon Athena を使ったセキュリティログ検索基盤の構築 - クックパッド開発者ブログ
こんにちは。技術部セキュリティグループの水谷（@m_mizutani ）です。最近はFGOで一番好きな話がアニメ化され、毎週感涙に咽びながら視聴しています。 TL;DR これまでセキュリティログ検索にGraylogを使っていたが、主に費用対効果の改善のため新しいセキュリティログ検索基盤を検討した自分たちの要件を整理し、Amazon Athenaを利用した独自のセキュリティログ検索基盤を構築したまだ完全に移行はできていないが対象ログを1ヶ月間分（約7.5TB1）保持してもコストは1/10以下である3万円に収まる見込みはじめにセキュリティグループでは日頃、社内ネットワークやPC環境、クラウドサービスに関連するセキュリティアラートに対応するセキュリティ監視業務を継続しておこなっています。アラートに対応する時に頼りになるのはやはり様々なサービスやシステムのログで、そのアラートに関連したログ
atsuizo 2019/11/20
aws

athena
リンク
AWS AthenaでPartitionを作る - Qiita
BigQuery破産ならぬAthena破産クエリでスキャンした容量毎に課金されるAthena。同じ課金方式（値段も一緒）のBigQueryでクエリの投げ方間違えて１００万円溶かしたなどの話は有名ですよね。 Athenaでも同じことが起こりうる、というのでとても怖いです。ちょっとしたミスがとんでもないことになる。そこまでビビらなくてもいいですが、とはいえ、怖いのは怖いものです。とはいえ、使わないというのもどうかと思います。ので、BigQueryと同じく、パーティションを作ってちゃんとスキャンされる範囲を制限してクエリを実行すればそれなりに安全ということで、本家からも推奨されてます。 Athenaのパーティション EMRなどでHiveを使ってS3にごにょごにょしてたのであれば、すでにHiveフォーマットでパーティショニングできてることもあります。が、我々がよくAthenaで見
atsuizo 2017/01/27
aws

athena
リンク
1