を設定する環境変数 AWS CLI - AWS Command Line Interface
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 を設定する環境変数 AWS CLI 環境変数を使用すると、別の方法で設定オプションと認証情報を指定できます。このため、スクリプト処理や、名前付きプロファイルを一時的にデフォルトとして設定する場合に便利です。 オプションの優先順位 このトピックで示されている環境変数のいずれかを使用してオプションを指定した場合、設定ファイルのプロファイルからロードされた値は上書きされます。 AWS CLI コマンドラインでパラメータを使用してオプションを指定すると、対応する環境変数または設定ファイル内のプロファイルの値が上書きされます。
スキーマ更新の処理 - Amazon Athena
このセクションでは、さまざまなデータ形式に対するスキーマ更新の処理に関するガイダンスを提供します。Athena はスキーマオンリード (schema-on-read) のクエリエンジンです。これは、Athena でテーブルを作成する場合、Athena がデータの読み取り時にスキーマを適用することを意味します。基盤となるデータに変更または書き直しが行われることはありません。 テーブルスキーマの変更が予想される場合は、ニーズに適したデータ形式で作成することを検討します。目的は、進化するスキーマに対して既存の Athena クエリを再利用し、パーティションがあるテーブルをクエリするときのスキーマの不一致エラーを回避することです。 これらの目的を達成するには、次のトピックの表に基づいてテーブルのデータ形式を選択してください。 概要: Athena における更新とデータ形式 以下の表は、データストレ
ボリュームサイズ変更後の Linux ファイルシステムの拡張 - Amazon Elastic Compute Cloud
次のトピックでは、Linux 用の XFS および Ext4 ファイルシステムを拡張するプロセスについて説明します。他のファイルシステムの詳細については、そのドキュメントを参照して、手順を確認してください。 EBS ボリュームのサイズを増やしたら、ファイルシステム固有のコマンドを使用して、ファイルシステムを新しいより大きなサイズに拡張します。ボリュームが optimizing 状態に入るとすぐにこれを実行できます。 Linux でファイルシステムを拡張するには、次の操作を実行する必要があります。 変更をロールバックする必要がある場合に備えて、ボリュームのスナップショットを作成します。詳細については、「Amazon EBS スナップショットの作成」を参照してください。 ボリュームの変更が成功し、optimizing または completed 状態になっていることを確認します。詳細については
Presto と Trino - Amazon EMR
2020 年 12 月に、PrestoSQL は Trino に名前変更されました。Amazon EMR バージョン 6.4.0 以降では Trino という名称が使用されていますが、それ以前のリリースバージョンでは PrestoSQL という名称が使用されています。 Presto は、複数のソースからの大量のデータセットの対話型分析クエリ用に設計された高速の SQL クエリエンジンです。詳細については、Presto のウェブサイトを参照してください。Presto は、Amazon EMR リリース 5.0.0 以降に含まれています。以前のリリースには、サンドボックスアプリケーションとして Presto が含まれています。詳細については、「Amazon EMR 4.x リリースバージョン」を参照してください。Amazon EMR リリースバージョン 6.1.0 以降では、Presto に加
AWS Glue でのストリーミング ETL ジョブ - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue でのストリーミング ETL ジョブ 連続的に実行されるストリーミング抽出/変換/ロード (ETL) ジョブを作成し、Amazon Kinesis Data Streams、Apache Kafka、 Amazon Managed Streaming for Apache Kafka (Amazon MSK) などのストリーミングソースからのデータを使用できます。ジョブはデータをクレンジングして変換し、その結果を Amazon S3 データレイクまたは JDBC データストアにロードします。 さらに、Amazon Kinesis Data Streams ストリーム用のデータを生成できます。この機能は、 AWS Glue スクリプトを記述する場合にの
コンソールを使用してログデータを Amazon S3 にエクスポートする - Amazon CloudWatch Logs
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 コンソールを使用してログデータを Amazon S3 にエクスポートする 次の例では、Amazon CloudWatch コンソールを使用して、 という名前の Amazon CloudWatch Logs ロググループから という名前の Amazon S3 バケットmy-log-groupにすべてのデータをエクスポートしますmy-exported-logs。 SSE-KMS によって暗号化された S3 バケットへのログデータのエクスポートは、サポートされています。DSSE-KMS で暗号化されたバケットへのエクスポートはサポートされていません。 エクスポートの設定方法の詳細は、エクスポート先の Amazon S3 バケットがエクスポート対象のログと同じアカウントにあ
Athena エンジンバージョン 3 - Amazon Athena
開始方法 はじめに、Athena エンジンバージョン 3 を使用する新しい Athena ワークグループを作成するか、バージョン 3 を使用するように既存のワークグループを設定するかを選択します。Athena のどのワークグループでも、クエリの送信を中断することなく、エンジンバージョン 2 からエンジンバージョン 3 にアップグレードできます。 詳細については、「Athena エンジンバージョンの変更」を参照してください。 改善点と新機能 記載されている機能や更新には、Athena 自体の改善点と、オープンソースの Trino から組み込まれた機能性の改善点が含まれています。SQL クエリの演算子および関数を網羅するリストについては、「Trino documentation」(Trino ドキュメント) を参照してください。 追加された機能 Apache Spark バケットアルゴリズムの
ECS Exec による Amazon ECS コンテナのモニタリング - Amazon Elastic Container Service
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 ECS Exec による Amazon ECS コンテナのモニタリング Amazon ECS Exec を使用すれば、最初にホストコンテナのオペレーティングシステムとやり取りしたり、インバウンドポートを開いたり、SSH キーを管理したりすることなく、コンテナと直接やり取りできます。ECS Exec を使用して、Amazon EC2 インスタンスまたは AWS Fargateで実行されているコンテナでコマンドを実行したり、シェルを取得したりできます。これにより、診断情報を収集し、エラーを迅速にトラブルシューティングすることが容易になります。例えば、開発コンテキストでは、ECS を使用して、コンテナ内のさまざまなプロセスと簡単にやり取りし、アプリケーションのトラブルシュ
Lake Formation 許可のリファレンス - AWS Lake Formation
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Lake Formation 許可のリファレンス AWS Lake Formation オペレーションを実行するには、プリンシパルに Lake Formation 許可と AWS Identity and Access Management (IAM) 許可の両方が必要です。IAM 許可は通常、「Lake Formation 許可の概要 」で説明したように、粗粒度のアクセス制御ポリシーを使用して付与します。Lake Formation 許可は、 コンソール、 API、または AWS Command Line Interface () を使用して付与できますAWS CLI。 Lake Formation 許可を付与または取り消す方法を学ぶには、「Data Catalo
Amazon Athena でのパーティション射影 - Amazon Athena
Athena では、高度にパーティションされたテーブルのクエリ処理を高速化し、パーティション管理を自動化するためにパーティション射影を使用できます。 パーティション射影では、Athena は AWS Glue のテーブルに直接設定したテーブルプロパティを使用してパーティション値と場所を計算します。テーブルプロパティにより、Athena は AWS Glue Data Catalogで時間をかけてメタデータを検索しなくても、必要なパーティション情報を「射影」または決定できます。多くの場合、インメモリオペレーションはリモートオペレーションよりも高速であるため、パーティション射影は高度にパーティションされたテーブルに対するクエリの実行時間を短縮できます。クエリおよび基盤となるデータの特定の特性によっては、パーティション射影によって、パーティションメタデータの取得時に制限されているクエリのクエリラ
Lake Formation でのリソースリンクの仕組み - AWS Lake Formation
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Lake Formation でのリソースリンクの仕組み リソースリンクは、ローカルまたは共有のデータベースまたはテーブルへのリンクである Data Catalog オブジェクトです。データベースまたはテーブルへのリソースリンクを作成すると、そのデータベース名やテーブル名を使用する場所ならどこでもリソースリンク名を使用することができます。テーブルのリソースリンクは、glue:GetTables() によってユーザーが所有するテーブル、またはユーザーと共有されたテーブルとともに返され、Lake Formation コンソールの [Tables] (テーブル) ページにエントリとして表示されます。データベースへのリソースリンクも同様に機能します。 データベースまたはテー
AWS Glue API でのリソースリンク処理 - AWS Lake Formation
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue API でのリソースリンク処理 以下は、AWS Glue Data Catalog API がデータベースおよびテーブルリソースリンクを処理する方法を説明する表です。すべての Get* API オペレーションで、呼び出し側が許可を持つデータベースとテーブルのみが返されます。また、リソースリンクを通じて対象のデータベースやテーブルにアクセスするときは、ターゲットとリソースリンクの両方に対する AWS Identity and Access Management (IAM) 許可と Lake Formation 許可の両方を持っている必要があります。リソースリンクに対する必要な Lake Formation 許可は DESCRIBE です。詳細について
Amazon Athena のデータ型 - Amazon Athena
CREATE TABLE を実行するときは、列名と、各列に含めることができるデータ型を指定します。作成するテーブルは、AWS Glue Data Catalog に保存されます。 他のクエリエンジンとの相互運用性を促進するため、Athena は CREATE TABLE などの DDL ステートメントに Apache Hive データ型名を使用します。SELECT、CTAS、および INSERT INTO などの DML クエリの場合、Athena は Trino データ型名を使用します。以下の表は、Athena でサポートされるデータ型を示しています。DDL 型と DML 型が名前、可用性、構文といった点で異なる場合は、個別の列に表示されます。
InputPath、ResultPath、OutputPath の例 - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 InputPath、ResultPath、OutputPath の例 失敗 状態または 成功 状態以外のすべての状態には、InputPath、ResultPath、OutputPathなどの入力および出力処理フィールドを含めることができます。また、待機 および 選択 状態は ResultPath フィールドをサポートしていません。これらのフィールドを使用すると、JSJsonPath を使用してワークフロー内を移動する JSON データをフィルタリングできます。 Parameters フィールドを使用して、JSON データがワークフロー内を移動する際にそのデータを操作することもできます。Parameters の使用の詳細については、「InputPath、パラメータ、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複合型の配列とネストされた構造のクエリ - Amazon Athena
https://docs.aws.amazon.com/kinesis/
CloudWatch Logs クォータ - Amazon CloudWatch Logs
Athena エンジンバージョンリファレンス - Amazon Athena
AWS Glue リソース ARN の指定 - AWS Glue
AWS Batch IAM ロールの実行 - AWS Batch