Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2020/10/13 に、原文の更新に合わせて最新のバージョンにアップデートしました Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。Athena はサーバーレスのためインフラ管理の必要がなく、また実行したクエリのぶんだけ料金を支払うかたちになります。Athena は簡単に使えます。Amazon S3 上のデータに対してスキーマを定義し、標準 SQL でクエリを投げるだけです。 このブログポストでは、クエリパフォーマンスを改善するための 10 個の Tips をご紹介します。Tips には、Amazon S3 に置かれたデータに関するものと、クエリチューニングに関するものがあ
Athena Workgroups を使ってユーザーまたはアプリケーション間のワークロード分離、クエリメトリクスの閲覧、コスト管理の適用を行う
Amazon Athena Workgroups がリリースされました。今後は、この新しいリソースタイプを使って、クエリ実行やクエリ履歴を、同じ AWS アカウントの下で実行されているユーザー、チーム、またはアプリケーション間で分離できるようになります。ワークグループはリソースとして機能するため、ワークグループのアクセス管理にはリソースベースのポリシーが使用できます。たとえば、Athena を使用している 2 つのチームまたは種類の異なるアプリケーションが存在する場合、それらを異なるワークグループに割り当てることでアクセスを制限することができます。また、異なるワークグループに割り当てることで、臨時の使用を予定されているレポートから分離することもできます。あるワークグループで実行中のクエリは、別のワークグループで実行中のユーザーまたはアプリケーションからは確認できません。また、ワークグループ
AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services
Amazon Web Services ブログ AWS Data Wranglerを使って、簡単にETL処理を実現する 2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazo
【開催報告】Amazon Athena Meetup – Startup and AdTech | Amazon Web Services
Amazon Web Services ブログ 【開催報告】Amazon Athena Meetup – Startup and AdTech こんにちは、ソリューションアーキテクトの篠原英治です。 Amazon AthenaおよびAmazon EMRのGeneral ManagerであるRahul Pathakの来日に伴い、AWSをご利用いただいているスタートアップおよびアドテクのエンジニアの皆さまをAWSジャパンのオフィスにお招きしてAmazon Athenaに関する勉強会を開催しました。 – Amazon Athenaのご紹介 お客様からいただいたフィードバックからAthenaを開発するに至ったという背景や、フィロソフィー、そして特徴などについて、AWSのBigData関連サービスを担当している事業開発マネージャーの一柳による逐次通訳とともに、ご紹介させていただきました。 Amazo
ぼくがAthenaで死ぬまで
3. 要件 ● 朝09:00くらいには前日分のデータ閲覧したい ● 閲覧者にSQLを書かせない / 意識させない ● CloudFront / ELBのログをインタラクティブに解析したい ● テーブルはCF: 3 / ELB: 2 ● 分析の種類はCF: 6 / ELB: 5
Amazon AthenaをAWS Lambdaから操作できるようにしてみた - Qiita
Amazon Athenaがリリースされてから、できるだろう、というイメージがあったのでやってみました。現在jdbc接続しかできなさそうなので、Lambdaは必然的にJavaで記述することになります。 結果 結果だけ見たい人はこちらをどうぞ。ただ、「とりあえず動く」コードになっています。 制限事項 取得している値は全て文字列として扱っています。他の型で受け取りたい場合はソースを修正する必要があります。 見ればわかりますが、適切な例外の処理などはほとんどないです（これが「とりあえず動くコード」の原因）。きちんと使いたい場合はご自身で足りない分を実装してください。 やりたいこと Amazon AthenaにLambdaからアクセスできるプログラムの作成 できるだけ柔軟に欲しい情報を取れるようにしたい 結果として、入力用JSONに期待するカラムも記述するようにしました。 準備 Credentia
AWS AthenaでCloudTrailのS3オブジェクトログを解析をしてみました！ | DevelopersIO
モバイルアプリサービス部の五十嵐です。 はじめてAthenaを使ってみたところクエリで苦戦して社内のメンバーに助けてもらったので、きっと他にも困っている人がいるだろうと思い記事にまとめました。 目的 これまでS3オブジェクトの操作ログは、S3のログ記録機能を使い、S3に出力されたログをLambdaからElasticsearch Serviceに登録し、Kibanaで参照していました。（以下は関連記事。） S3の操作ログをLambdaを経由してElasticsearchに送る方法 ｜ Developers.IO AmazonS3のサーバーアクセスログを解析 〜 最終版 ｜ Developers.IO 今回は、上記の仕組みを「CloudTrailのS3オブジェクトログ＋Athena」に置き換えが可能かどうかを検証してみました。 ちなみに、CloudTrailのS3オブジェクトログも最近追加され
Amazon Athenaを使ってみました #reinvent | DevelopersIO
こんにちは、小澤です。 今回はre:Invent 2016で発表されたというAthenaというものを使ってみました。 Athenaとは S3上にあるデータに対して直接テーブル定義を行って、SQLでデータの取得が行えるもののようです。 RedshiftやEMRのようにコンピューティングのためのインスタンスを生成する必要がないのも特徴です。 また、JDBC経由だけでなく、Web UI上から対話的にSQLを発行できるようになっており非常に手軽に使えるのも魅力的です。 今回はこのWeb UIからSQLを発行してどのような動きをするのか見てみたいと思います。 使ってみる まずはサンプルで動かしてみる サービス一覧上では「分析」の項目に存在していました。 現状ではアメリカのバージニアとオレゴンの2つのリージョンにしか対応していないようなので、そのどちらかで選択する必要があります。 Getting St
AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
Amazon AthenaをBigQueryと比較してみた
こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
