タグ

ブックマーク / docs.aws.amazon.com (57)

  • Saga パターン - AWS 規範的ガイダンス

    翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Saga パターン この saga パターンは、分散アプリケーションの一貫性を確立し、複数のマイクロサービス間のトランザクションを調整してデータの一貫性を維持するのに役立つ障害管理パターンです。マイクロサービスはトランザクションごとにイベントを公開し、イベントの結果に基づいて次のトランザクションが開始されます。トランザクションの成功または失敗に応じて、2 つの異なるパスをたどることができます。 次の図は、saga パターンが AWS Step Functions を使用して注文処理システムを実装する方法を示しています。各ステップ (ProcessPayment「」など) には、プロセスの成功 (「」などUpdateCustomerAccount) または失敗 (Se

    InoHiro
    InoHiro 2021/09/11
    “サガパターン” 好きすぎる
  • Replication with Amazon Aurora MySQL - Amazon Aurora

    The Aurora MySQL replication features are key to the high availability and performance of your cluster. Aurora makes it easy to create or resize clusters with up to 15 Aurora Replicas. All the replicas work from the same underlying data. If some database instances go offline, others remain available to continue processing queries or to take over as the writer if needed. Aurora automatically spread

    InoHiro
    InoHiro 2019/08/09
    同じ行を同時に別のマスターから更新しようとしたらデッドロックになるし、別の行でもデータページが同じだとデッドロックになる。同じ行でも若干の時間差があれば更新できる
  • Learning Algorithm - Amazon Machine Learning

  • S3DistCp (s3-dist-cp) - Amazon EMR

    翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 S3DistCp (s3-dist-cp) Apache DistCp は、データの大量を可能にするオープンソースのツールです。S3DistCp は DistCp、Amazon S3 と似ていますがAWS、特に Amazon S3 ので動作するように最適化されています。Amazon EMR バージョン 4.0DistCp 以降での S3 のコマンドはs3-dist-cp、クラスターのステップまたはコマンドラインに追加します。S3 を使用するとDistCp、Amazon S3 の大量のデータを HDFS に効率的にコピーできます。ここにコピーされたデータは、Amazon EMR クラスターの以降のステップで処理できます。また、S3DistCp を使用して、Amazon

  • SVL_S3QUERY - Amazon Redshift

    Use the SVL_S3QUERY view to get details about Amazon Redshift Spectrum queries at the segment and node slice level. SVL_S3QUERY is visible to all users. Superusers can see all rows; regular users can see only their own data. For more information, see Visibility of data in system tables and views. SVL_S3QUERY only contains queries run on main clusters. It doesn't contain queries run on concurrency

  • SVL_S3LOG - Amazon Redshift

    Use the SVL_S3LOG view to get details about Amazon Redshift Spectrum queries at the segment and node slice level. SVL_S3LOG is visible to all users. Superusers can see all rows; regular users can see only their own data. For more information, see Visibility of data in system tables and views. SVL_S3LOG only contains queries run on main clusters. It doesn't contain queries run on concurrency scalin

  • Troubleshooting queries in Amazon Redshift Spectrum - Amazon Redshift

    Following, you can find a quick reference that identifies and addresses some common issues you might encounter with Amazon Redshift Spectrum queries. To view errors generated by Redshift Spectrum queries, query the SVL_S3LOG system table. Retries exceeded If an Amazon Redshift Spectrum request times out, the request is canceled and resubmitted. After five failed retries, the query fails with the f

  • System tables and views reference - Amazon Redshift

    System tables and views Amazon Redshift has many system tables and views that contain information about how the system is functioning. You can query these system tables and views the same way that you would query any other database tables. This section shows some sample system table queries and explains: How different types of system tables and views are generated What types of information you can

  • Creating external tables for Redshift Spectrum - Amazon Redshift

    You create an external table in an external schema. To create external tables, you must be the owner of the external schema or a superuser. To transfer ownership of an external schema, use ALTER SCHEMA to change the owner. The following example changes the owner of the spectrum_schema schema to newowner. alter schema spectrum_schema owner to newowner;To run a Redshift Spectrum query, you need the

  • S3DistCp (s3-dist-cp) - Amazon EMR

    Apache DistCp is an open-source tool you can use to copy large amounts of data. S3DistCp is similar to DistCp, but optimized to work with AWS, particularly Amazon S3. The command for S3DistCp in Amazon EMR version 4.0 and later is s3-dist-cp, which you add as a step in a cluster or at the command line. Using S3DistCp, you can efficiently copy large amounts of data from Amazon S3 into HDFS where it

  • スポットリクエストステータス - Amazon Elastic Compute Cloud

    スポットインスタンスリクエストを追跡し、スポットインスタンスの使用を計画するには、Amazon EC2 によって提供されるリクエストステータスを使用します。例えば、リクエストステータスによって、スポットリクエストがまだ受理されていない理由や、スポットリクエストの受理を妨げている制約の一覧を確認できます。 このプロセスの各ステップ (スポットリクエストのライフサイクルとも呼ばれる) では、特定のイベントによって後続のリクエスト状態が決まります。 スポットリクエストのライフサイクル 次の図は、申請から終了まで、スポットリクエストがライフサイクル全体を通してたどり得る経路を示しています。各ステップはノードとして表現され、各ノードのステータスコードはスポットリクエストおよびスポットインスタンスのステータスを示します。 評価保留 スポットインスタンスリクエストを作成すると、リクエストパラメータのいず

  • STV_BLOCKLIST - Amazon Redshift

    STV_BLOCKLIST には、データベース内の各スライス、テーブル、または列で使用される 1 MB ディスクブロックの数が表示されます。 データベース、テーブル、または列ごとに割り当てられている 1 MB ディスクブロックの数を調べるには、以下の例に示すように、STV_BLOCKLIST で集計クエリを使用します。または STV_PARTITIONS を使用して、ディスク利用に関する概要を見ることができます。 STV_BLOCKLIST はスーパーユーザーのみに表示されます。詳細については、「システムテーブルとビューのデータの可視性」を参照してください。 テーブルの列

  • 実装方法が異なる機能 - Amazon Redshift

    Amazon Redshift SQL の多くの言語要素は、対応する PostgreSQL 実装とはパフォーマンス特性が異なり、使用する構文およびセマンティクスもまったく異なるものとなっています。 Amazon Redshift と PostgreSQL に含まれる共通要素のセマンティクスは同じであるとみなさないでください。判断しかねる差異については、Amazon Redshift デベロッパーガイドの SQL コマンド を参照して確認してください。 具体的な例として VACUUM コマンドが挙げられます。これはテーブルのクリーンアップおよび再編成に使用されます。VACUUM は PostgreSQL バージョンの場合とは機能が異なり、異なるパラメータセットを使用します。Amazon Redshift での VACUUM の使用についての詳細は、テーブルのバキューム処理 を参照してください

  • Amazon Redshift および PostgreSQL - Amazon Redshift

    Amazon Redshift は PostgreSQL に基づいています。Amazon Redshift と PostgreSQL の間には非常に重要な相違点がいくつかあり、データウェアハウスアプリケーションを設計して開発するときはそれを考慮する必要があります。 Amazon Redshift は、具体的には、大規模データセットに対して複雑なクエリを行う必要があるオンライン分析処理 (OLAP) アプリケーションおよびビジネスインテリジェンス (BI) アプリケーション向けに設計されています。Amazon Redshift は多種多様な要件に対処するため、Amazon Redshift で使用する専用のデータストレージスキーマおよびクエリ実行エンジンは PostgreSQL の実装とは完全に異なります。例えば、オンライントランザクション処理 (OLTP) アプリケーションが一般的にデータ

  • PG_CANCEL_BACKEND - Amazon Redshift

    pid キャンセルするクエリのプロセス ID (PID)。クエリ ID を指定してクエリをキャンセルすることはできません。クエリのプロセス ID を指定する必要があります。INTEGER 値は必須です。 戻り型 なし 使用に関する注意事項 複数のセッションのクエリが同じテーブルのロックを保持している場合、PG_TERMINATE_BACKEND関数を使用してセッションの 1 つを終了することができます。これにより、終了したセッションで現在実行中のトランザクションがあれば、そのすべてのロックが強制的に解放され、トランザクションがロールバックされます。PG__LOCKS カタログテーブルに対してクエリを実行し、現在保持しているロックを表示します。トランザクションブロック (BEGIN … END) 内にあるためクエリをキャンセルできない場合、PG_TERMINATE_BACKEND 関数を使用

  • PG_TERMINATE_BACKEND - Amazon Redshift

    セッションを終了します。ユーザー自身が所有するセッションを終了できます。スーパーユーザーはどのセッションでも終了できます。 構文 戻り型 なし 使用に関する注意事項 同時接続の制限に近づいている場合、PG_TERMINATE_BACKEND を使用してアイドル状態のセッションを終了し、接続を解放することができます。詳細については、Amazon Redshift における制限を参照してください。 複数のセッションのクエリが同じテーブルのロックを保持している場合、PG_TERMINATE_BACKEND を使用してセッションの 1 つを終了することができます。これにより、終了したセッションで現在実行中のトランザクションがあれば、そのすべてのロックが強制的に解放され、トランザクションがロールバックされます。PG_LOCKS カタログテーブルに対してクエリを実行し、現在保持しているロックを表示しま

  • SVV_TRANSACTIONS - Amazon Redshift

    select * from svv_transactions; txn_ lockable_ owner | txn_db | xid | pid | txn_start | lock_mode | object_type | relation | granted -------+--------+--------+-------+----------------------------+---------------------+----------------+----------+--------- root | dev | 438484 | 22223 | 2016-03-02 18:42:18.862254 | AccessShareLock | relation | 100068 | t root | dev | 438484 | 22223 | 2016-03-02 18:4

  • ANALYZE - Amazon Redshift

    ANALYZE [ VERBOSE ] [ [ table_name [ ( column_name [, ...] ) ] ] [ PREDICATE COLUMNS | ALL COLUMNS ] パラメータ VERBOSE ANALYZE オペレーションに関する進捗情報メッセージを返す句。このオプションは、テーブルを指定しないときに役立ちます。 table_name 一時テーブルを含む、特定のテーブルを分析できます。テーブルをそのスキーマ名で修飾することができます。また、table_name を指定して単一のテーブルを分析することもできます。1 つの ANALYZE table_name ステートメントで複数の table_name を指定することはできません。table_name 値を指定しなかった場合、システムカタログの永続テーブルを含め、現在接続されているデータベースのすべての

  • DynamoDB Streams の変更データキャプチャ - Amazon DynamoDB

    DynamoDB Streams は、DynamoDB テーブル内の項目レベルの変更に関するシーケンスを時間順にキャプチャし、その情報を最大 24 時間ログに保存します。アプリケーションは、このログにアクセスし、データ項目の変更前および変更後の内容をほぼリアルタイムで参照できます。 保管時の暗号化では、DynamoDB Streams のデータが暗号化されます。詳細については、「保管時の DynamoDB 暗号化」を参照してください。 DynamoDB Streams は、DynamoDB テーブル内の項目に加えられた変更に関する情報の順序付けされた情報です。テーブルでストリーミングを有効にすると、DynamoDB はテーブル内のデータ項目に加えられた各変更に関する情報をキャプチャします。 アプリケーションがテーブル内の項目を作成、更新、または削除するたびに、DynamoDB Stream

  • STV_RECENTS - Amazon Redshift

    現在アクティブなクエリや、最近データベースに対して実行されたクエリに関する情報を取得するには、STV_RECENTS テーブルを使用します。 STV_RECENTS はすべてのユーザーに表示されます。スーパーユーザーはすべての行を表示できますが、通常のユーザーは自分のデータのみを表示できます。詳細については、「システムテーブルとビューのデータの可視性」を参照してください。 このテーブルの一部またはすべての列は、SYS モニタリングビュー SYS_QUERY_HISTORY にも定義されています。 STV_RECENTS によるトラブルシューティング STV_RECENTS は、クエリまたはクエリのコレクションが現在実行中であるか完了しているかを判断する場合に特に役立ちます。また、クエリが実行されていた期間も示します。これは、どのクエリの実行時間が長いかを把握するのに役立ちます。 STV_R