MSCK REPAIR TABLE - Amazon Athena
Hive 互換パーティションを追加した後でカタログ内のメタデータを更新するには、MSCK REPAIR TABLE コマンドを使用します。 MSCK REPAIR TABLE コマンドは、テーブルの作成後にファイルシステムに追加された Hive 互換パーティションで Simple Storage Service (Amazon S3) などのファイルシステムをスキャンします。MSCK REPAIR TABLE は、テーブルメタデータのパーティションと S3 のパーティションを比較します。テーブルの作成時に指定した S3 の場所に新しいパーティションが存在する場合は、これらのパーティションがメタデータと Athena のテーブルに追加されます。 物理パーティションを追加すると、カタログ内のメタデータがファイルシステム内のデータのレイアウトと整合しなくなるので、新しいパーティションに関する情報
AWS Glue でのログ記録とモニタリング - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue でのログ記録とモニタリング ETL (抽出、変換、ロード) ジョブの実行を自動化できます。AWS Glue は、モニタリングできるクローラとジョブのメトリクスを提供します。必要なメタデータを使用して AWS Glue Data Catalog を設定すると、AWS Glue は環境のヘルスに関する統計を提供します。クローラとジョブの呼び出しを、cron に基づく時間ベースのスケジュールで自動化することができます。イベントベースのトリガーが発生したときにジョブをトリガーすることもできます。 AWS Glue は、AWS Glue で ユーザー、ロール、または AWS のサービスによって実行されたアクションを記録するサービスである AWS CloudT
AWS Lake Formation の概要 - AWS Lake Formation
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Lake Formation の概要 AWS Lake Formation デベロッパーガイドへようこそ。 AWS Lake Formation は、分析と機械学習用のデータの一元管理、保護、グローバル共有に役立ちます。Lake Formation では、Amazon Simple Storage Service (Amazon S3) 上のデータレイクデータと AWS Glue Data Catalogの関連メタデータに対するきめ細かなアクセスコントロールを管理できます。 Lake Formation は、IAM 許可モデルを補強する独自の許可モデルを提供します。Lake Formation のアクセス許可モデルは、リレーショナルデータベース管理システム
Get started managing partitions for Amazon S3 tables backed by the AWS Glue Data Catalog | Amazon Web Services
AWS Big Data Blog Get started managing partitions for Amazon S3 tables backed by the AWS Glue Data Catalog Large organizations processing huge volumes of data usually store it in Amazon Simple Storage Service (Amazon S3) and query the data to make data-driven business decisions using distributed analytics engines such as Amazon Athena. If you simply run queries without considering the optimal data
AWS Glueとは何か？ - Qiita
こいつに入門します。 一言でいうと… マネージドETLサービスです。 ETLとは「Extract/Transform/Load」の略で、分析用に様々なデータを集める際に発生する「取り出す/変換する/取り込む」というプロセスを表しています。 Glueとは「糊」のことで、ETLにおいてAWSのリソースとリソースを繋ぐことの比喩になっているようです。 ※ややこしいですがDevOps Guruというサービスも最近出現しています。このGuruは「賢者」を表す別単語で、機械学習を活用した賢いサービスを比喩しているものと思われます。 Glueの概念図 データソースから取り込んだデータをETLジョブで加工し、ターゲットに格納して分析などに利用します。 Glueのコンポーネント データカタログ ETL処理をしたいデータのメタデータを管理するもの。元データ（データソース）からGlueのクローラーで抽出してきた
Amazon AthenaでS3上のファイルにSQLアクセスしてみる
Amazon Athenaとは Amazon Athenaとは、Amazon Web Services（AWS）のサービスの一つで、「標準 SQL を使用して Amazon Simple Storage Service （S3） でのデータの直接分析を簡易化するインタラクティブなクエリサービス」です。 つまり、AWSのS3ストレージに置いてあるCSVファイルやJSONファイルに対して直接SQLを発行し、クエリの結果を得ることができるサービスです。 構成イメージ Amazon Athenaを使ってみよう 実際に使ってみましょう。 例えば、S3に次のような生徒ごとの5教科のテスト結果の点数が書かれたcsvファイルがあるとします。このcsvファイルがAmazon Athenaからどう見えるか、みてみましょう。 csvファイルイメージ（テスト結果.csv） まずはS3にバケット・フォルダを作成し、
AWS Glue のデータカタログとクローラー - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue のデータカタログとクローラー AWS Glue Data Catalog には、AWS Glue での抽出、変換、ロード (ETL) ジョブのソースおよびターゲットとして使用するデータへのリファレンスが含まれています。データウェアハウスやデータレイクを作成するには、このデータを分類する必要があります。AWS Glue Data Catalog は、データの場所、スキーマ、およびランタイムメトリクスへのインデックスです。データカタログ内の情報は、ETL ジョブの作成と監視に使用します。Data Catalog の情報はメタデータテーブルとして保存され、各テーブルが 1 つのデータストアを指定します。一般的には、クローラーを実行してデータストア内のデー
AWS Glue Data Catalog を理解する - Qiita
AWS Glue Data Catalog を理解するために 初めてクラウドサービスを使用する&初めてAWS Glue で ETL 処理のジョブを作って色々やってみようとするとき、不意に登場するのが AWS Glue Data Catalog ではないだろうか。 「何のために Data Catalog は存在するのだ？」 「Data Catalog はなくても ETL できるんじゃないの？」 こんな思いをした皆さんにこの記事が参考になれば幸いです。 本来はより詳細な Data Catalog の技術記事を紹介しようと思いましたが、今回は「Data Catalog は重要なのね」と理解することがゴールになります。また、ただのツール説明ではなく、データエンジニアリングやデータ基盤を構築するデータエンジニアとしての視点を交えて書いてみました。 とりあえず AWS Glue Data Catalo
Apache Hive メタストアを Amazon EMR に移行してデプロイする | Amazon Web Services
Amazon Web Services ブログ Apache Hive メタストアを Amazon EMR に移行してデプロイする Amazon EMR の速さと柔軟性を、Apache Hive の有用性とユビキタス性と組み合わせることで、両方の長所が得られます。ただし、ビッグデータプロジェクトを始めるのは容易なことではありません。EMR に新しいデータをデプロイする場合でも、既存のプロジェクトを移行する場合でも、この記事では開始するための基本を説明します。 Apache Hive は、Apache Hadoop クラスターで動作するオープンソースのデータウェアハウスおよび分析パッケージです。Hive メタストアには、パーティション名やデータ型など、テーブルとその基礎となるデータの説明が含まれています。Hive は、EMR で実行できるアプリケーションの 1 つです。 この記事が提示す
Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services
AWS Big Data Blog Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes The AWS Glue Data Catalog provides partition indexes to accelerate queries on highly partitioned tables. In the post Improve query performance using AWS Glue partition indexes, we demonstrated how partition indexes reduce the time it takes to fetch partition information during the planning phase
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Glue Data Catalog のデータベースとテーブルへのきめ細かなアクセス - Amazon Athena