【AWS グラレコ解説】大規模データセットも簡単クエリ! Amazon Athena をグラレコで解説 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
※ 本連載では、様々な AWS サービスをグラフィックレコーディングで紹介する awsgeek.com を、日本語に翻訳し、図の解説をしていきます。awsgeek.com は 、Jerry Hargrove 氏が運営しているサイトです。 これまでのグラレコ解説はこちら » builders.flash 読者のみなさん、こんにちは ! テクニカルライターの米倉裕基と申します。 本記事では、Amazon S3 上に保存された大量のデータを簡単かつ高速にクエリできるデータ分析サービス「Amazon Athena (以下 Athena)」をご紹介します。 Athena は、大規模なデータセットを管理するためによく使われるデータウェアハウスや Apache Hadoop クラスターを準備する必要なく、Amazon S3 (以下 S3) に保存されたデータを、標準 SQL を用いて簡単にクエリできるサ
AWS Athena でクエリ実行した時に出るエラー No output location provided. - Qiita
はじめに AWS Athenaで elb_logsというテーブルがあったので、試しにSELECTしましたが、下記のエラー文が表示されました。 クエリには次のエラーがあります。 No output location provided. An output location is required either through the Workgroup result configuration setting or as an API input. (Service: AmazonAthena; Status Code: 400; Error Code: InvalidRequestException; Request ID: 3db40425-2c5b-417f-80c9-cc103727faf2; Proxy: null) 解決法 AthenaはS3に格納してあるデータから実行したクエリ
[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] | DevelopersIO
コンニチハ、千葉です。 CloudTrailの証跡ログは、マネージメントコンソールから過去90日間のものを検索できますが、90日以前のものは別途S3に保存したファイルを見る必要があります。で、少し前にCloudTrailの画面から対象のログに対してAthenaのテーブルをGUIでさくっと作れるようになっていたので試しました。 また、開発環境のリーソースを消してもいいものか？を確認したかったので棚卸し時に投げたクエリも載せておきます。 Athenaテーブルの作成 Athenaのテーブル作成は、CloudTrailの画面かクリックで作成できるようになっているのでそちらから作成します。 イベント履歴を選択し「Amazon Athena で高度なクエリを実行します」をクリックします。 CloudTrailのログを保存しているS3を選択し、「テーブル作成」をクリックします。 Athenaに移動をクリ
![[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b57dafdec6169827ed19b57890ad883ece27ee1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FCloudTrail.png)
Amazon Athena（SQL を使用した S3 でのデータクエリ）| AWS
Amazon Athena は、オープンソースフレームワーク上に構築されたサーバーレスのインタラクティブな分析サービスで、オープンテーブルとファイル形式をサポートしています。Athena は、ペタバイト規模のデータが存在する場所で分析するための簡素化された柔軟な方法を提供します。Amazon Simple Storage Service (S3) データレイクと 25 以上のデータソース (オンプレミスデータソースや SQL または Python を使用した他のクラウドシステムを含む) からデータを分析したり、アプリケーションを構築したりできます。Athena は、オープンソースの Trino および Presto エンジンと Apache Spark フレームワーク上に構築されており、プロビジョニングや設定は不要です。
[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。先日、Amazon Athenaが、UNLOADコマンドをサポートしました。SELECTクエリの結果をCSV、Parquet、Avro、ORC、JSONフォーマットでS3出力できるようになりました。本日は、UNLOADコマンドを実際に試してみます。 UNLOADコマンド UNLOADコマンドの構文は、以下のとおりです。 UNLOAD (SELECT col_name[, ...] FROM old_table) TO 's3://my_athena_data_location/my_folder/' WITH ( property_name = 'expression' [, ...] ) WITH句の中にフォーマット（format）、区切り文字（field_delimiter）、圧縮タイプ（compression）、パーティシ
![[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
SpringBootを使ってAWS Athenaへ接続してみる | DevelopersIO
はじめに DI部のおおたきです。AWS AthenaはJDBCで接続が可能です。そこで今回SpringBootを使ってAWS Athenaに接続してみました。 AWS Athenaとは？って方はこちらを参照ください。 開発環境 今回実装した開発環境です。 Windows7 pleiades4.6.3 java8 開発環境を用意する pleiades-4.6.3を使って開発しました。（気がつくとどんどんバージョンが上がっている。） SpringBootを使うのでプラグインとしてSTSをインストールします。 pleiadesを起動してメニューのヘルプ->Eclipseマーケットプレイスを選択して、「STS」で検索します。「Spring Tool Suite」をインストールします。 プロジェクトを作成する SpringBootのプロジェクトを作成します。 メニューのファイル->新規->その他->
入門 Amazon Athena - Qiita
世の中的には分析などをする際にはBigQueryのケースが多いと思いますが、仕事でAmazon Athenaを触るケースが出てきたので、入門としてまとめておきます。 Amazon Athenaとは BigQueryみたく、SQLで大きなデータを集計などできるAWSのサービスです。 分析の他にも他のAWSサービスのログ確認などでも使われたりしますが、今回は分析寄りの記事として進めます。 BigQueryと比べて大きく異なる点として、「データをS3に配置する」という点があります（それによるメリットなどは後述）。 コストはどうなの？ 基本的にスキャンサイズのみに課金されます。 Amazon Athena では、実行したクエリに対してのみ料金が発生します。クエリごとにスキャンされたデータの分量に基づいて料金が請求され、1 テラバイトごとに 5 USD が請求されます。 Amazon Athena
AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方
リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏（以下、野口）：みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは＠nogというIDを使って活
Amazon Athena を使った セキュリティログ検索基盤の構築 /seclog-athena
ログ分析勉強会 vol.2 https://loganalytics.connpass.com/event/157354/ の資料です
[AWS] AWS Athenaの自分まとめ - Qiita
Athenaとは何かを知る Athenaをどう使えばいいかを知る Athenaの制限を知る Athenaのベストプラクティスを知る Athenaとは何かを知る 概要 Amazon Athena はインタラクティブなクエリサービスで、 Amazon S3 内のデータを標準 SQL を使用して簡単に分析できます。 Athena はサーバーレスなので、インフラストラクチャの管理は不要です。 実行したクエリに対してのみ料金が発生します。 AWS公式参照 サーバーレス 自動拡張 運用不要 S3の全てのデータを使用可能 データ容量上限なし S3にデータを配置してそのデータに対して標準SQLを用いて分析できるサービス Presto ベース S3にあるデータを指定してスキーマの定義をしてSQLを実行 大規模データの多くのケースで数秒で結果が返ってくる 分析用データを準備するための複雑なETLは不要 クエリ
![[AWS] AWS Athenaの自分まとめ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fcd02df899f02341aa9c49461ed6f5ed6176e4bd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCQVdTJTVEJTIwQVdTJTIwQXRoZW5hJUUzJTgxJUFFJUU4JTg3JUFBJUU1JTg4JTg2JUUzJTgxJUJFJUUzJTgxJUE4JUUzJTgyJTgxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xMmI3MTFhMzJjNmJjNTM1NGEzZWViZmJmNzJhOWM3Mw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcWlpdGEta3VyYXJhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kNTZmZGEyZTQ2M2NiM2FlZjQ5Y2ExNDBkMGUxNDU0MA%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dcc1b078ef1cb7e78a018797870396347)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GTFS RealTime data collection, storage and processing with AWS services
Athenaを守り、Athenaで攻める