[レポート][社内勉強会] AWS Athenaハンズオン ～ビッグデータじゃなくてもAthenaは使える！～ | DevelopersIO
[レポート][社内勉強会] AWS Athenaハンズオン ～ビッグデータじゃなくてもAthenaは使える！～ こんにちは、みかみです。 去る2017/07/01(土)に開催された弊社イベント「Developers.IO 2017」のハンズオンセミナー「G-1 現場で使える Amazon Athena」を、社内で再演していただきました！ｖ Developers.IO 2017セッション「G-1 現場で使える Amazon Athena」ハンズオンセミナーを開催しました #cmdevio2017 ｜ Developers.IO Athena初めて触ったのですが（恥）、Hiveもごく軽い机上の知識しかないですが（恥）、これが思ったよりもかんたん＆面白い！ これもひとえに、ハンズオン用にデータやRoleなど、準備していただいたおかげですｍｍ ※文中の画像は全てハンズオン資料からの抜粋です。 今ま
![[レポート][社内勉強会] AWS Athenaハンズオン ～ビッグデータじゃなくてもAthenaは使える！～ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2dae88f9022792145032c087b7530d3abcf941f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F12%2Feyecatch_athena.png)
Amazon Athena JDBCプログラミングガイド | DevelopersIO
はじめに 今回は私が Amazon Athena で JDBCプログラミングを実際に書いて得られた知見についてまとめてみました。各種チューニングパラメタの使い方、実際のDDLや参照系クエリーを例に解説します。 JDBCドライバーの入手 公開されたS3バケットからダウンロードから取得する方法とAmazon Athena のユーザーガイド（英語マニュアル）のリンクからダウンロードする方法の2種類あります。 現在は、JDBC 4.1互換のドライバが提供されています。 公開されたS3バケットからダウンロード 誰でも公開されたS3バケットからダウンロードできます。例えば、AWS CLIでは以下のようにダウンロードできます。 aws s3 cp s3：//athena-downloads/drivers/AthenaJDBC41-1.0.0.jar [ local_directory ] Amazon
新機能 AWSCLIから Amazon Athena のクエリを実行する ｜ DevelopersIO
昨日、以前から要望の多かった AWSCLI から Amazon Athena のクエリ実行する機能がリリースされましたので、早速試してみました。 Amazon Athena adds API/CLI, AWS SDK support, and audit logging with AWS CloudTrail 今回のリリースでは、AWSCLIの他に Java, .NET, Node.js, PHP, Python, Ruby, Go, 及び C++ で利用可能な AWS SDK を使用して、REST API 経由で Amazon Athena からもクエリを実行できるようになりました。詳細については、APIリファレンスおよびCLIガイドを参照してください。 サポートされた機能 ペタバイトクラスのクエリ実行も想定した Amazon Athena なので、クエリ実行は、「クエリの非同期実行〜ク
AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
Amazon Athena をちょっとだけさわってみたよ | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、寺岡です。 この記事は TECHSCORE Advent Calendar 2016 の6日目の記事です。 今年もAWS最大のイベント、 re:Invent で沢山の新サービスが紹介されました。 今回は、その中で一番気になったAmazon Athena（アテナ）をちょっとだけさわってみた感想を書きたいと思います。 Amazon Athena とは？ クエリ課金で完全マネージドのサーバレス超高速クエリエンジン S3保存してあるファイルに対してSQLを実行できる CSVやJSON、Parquet、Apache WebLogsなど様々なファイルフォーマットに対応 一言で言ってしまえば、AWS版 Google BigQuery のようなサービスです。 まだ東京リージョンでは利用できませんが、バージニア北部とオレゴンリージョンで利用することができます。 サーバレスでフルマネージド Ath
Amazon AthenaをBigQueryと比較してみた
こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go
Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
