「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
ワークフローオーケストレーション入門
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
CodePipeline が新しいアクションタイプでの Step Functions の呼び出しをサポート
AWS CodePipeline でサポートされているアクションタイプに AWS Step Functions が含まれるようになりました。これにより、お客様は、リリースプロセスの一部として複雑なワークフローを簡単に呼び出すことができます。新しいアクションタイプにより、CodePipeline Stages は、条件付き分岐、エラー処理、および非同期タスクをサポートする Step Functions のステートマシンをトリガーし、service-integrations を通じて他の AWS のサービスを簡単に呼び出すことができるようになりました。 CodePipeline を使用すると、定義したリリースモデルに基づいて、高速で信頼性の高いアプリケーションとインフラストラクチャの更新のリリースプロセスを自動化することができます。Step Functions サービスは、複数の AWS のサ
AWS SAM が新たに AWS Step Functions をサポート
AWS SAM の AWS Step Functions サポートにより、ワークフローオーケストレーションをサーバーレスアプリケーションに迅速かつ簡単に統合できるようになりました。サーバーレスアプリケーション構築用のオープンソースフレームワークである AWS サーバーレスアプリケーションモデル (AWS SAM) の直接サポートにより、アプリケーションのアーキテクチャやコードと共に Step Functions ステートマシンのワークフローを定義して、サーバーレスアプリケーションをより迅速に提供できるようになりました。 AWS Step Functions を使用すると、回復力のあるサーバーレスワークフローを構築して、AWS の AWS SAM 対応サービス (AWS Lambda、Amazon SNS、Amazon DynamoDB など) を使用するステートマシンをセットアップできます
AWS Step Functions support in Visual Studio Code | Amazon Web Services
AWS Compute Blog AWS Step Functions support in Visual Studio Code The AWS Toolkit for Visual Studio Code has been installed over 115,000 times since launching in July 2019. We are excited to announce toolkit support for AWS Step Functions, enabling you to define, visualize, and create your Step Functions workflows without leaving VS Code. Version 1.8 of the toolkit provides two new commands in the
AWS Step Functions Express Workflows のご紹介
Express Workflows は、AWS Step Functions ワークフローの新しいワークフロータイプです。これにより、AWS のコンピューティング、データベース、メッセージングサービスを毎秒 100,000 件を超えるイベントレートでコスト効率よく調整できます。Express Workflow は、Amazon API Gateway を介した HTTP リクエスト、AWS Lambda リクエスト、AWS IoT ルールエンジンのアクション、および Amazon EventBridge の 100 件以上の AWS および SaaS イベントソースなどのイベントに応じて、自動的に開始されます。Express Workflows は、IoT データの取り込み、ストリーミングデータの処理と変換、大量のマイクロサービスオーケストレーションなどの大量のイベント処理ワークロードに適
AWS Step Functions がネストされたワークフローのサポートを追加
AWS Step Functions で、モジュラー式で再利用可能なワークフローを作成することにより、より複雑なプロセスをオーケストレートすることができるようになりました。 Step Functions では、AWS の複数のサービスをフルマネージド型ワークフローで調整できるため、すばやくアプリケーションをビルドおよび更新できます。組織のワークフロー使用が拡大すると、ワークフローの構築、テスト、変更は複雑になります。よく使用されるワークフローのプロセスは、多くの場合複数の場所で反復されます。何か異常が起こった場合の大規模ワークフローの実行も、対処がより大変になります。 Step Functions ワークフローをネストすることにより、より小さく単純なワークフローから、より大規模で複雑なワークフローを構築することができます。ワークフローに人間によるレビューおよび承認、またはアカウント内のリソ
AWS Step Functions が Amazon EMR サービス統合を追加
AWS Step Functions は Amazon EMR と統合され、EMR ビッグデータ処理ワークフローの構築と監視が容易になりました。 AWS Step Functions は、Amazon EMR、Amazon SageMaker、AWS Lambda などの AWS サービスを利用し、回復力のあるワークフローを構築することを可能にします。Amazon EMR は、業界をリードするクラウドネイティブなビッグデータプラットフォームです。大規模環境で大量のデータを迅速かつコスト効率よく処理できます。Step Functions と Amazon EMR を使用すると、最小限の追加コードを記述しながら、ビッグデータワークフローを調整できます。 Amazon EMR と AWS Step Functions を使用すると、Amazon EMR ステップを注文し、依存関係を管理し、並行し
AWS Step Functions がワークフローでの動的並列処理のサポートを追加
AWS Step Functions は動的並列処理のサポートを開始しました。データ処理やタスクの自動化などといったアプリケーションのワークフローのパフォーマンスと効率性に最適化できます。同一のタスクを並行して実行することで、一貫した実行時間を実現し、リソースの使用率を改善して運用コストを節約できます。Step Functions は、入力に応じてリソースを自動的にスケーリングします。 Step Functions では、AWS の複数のサービスをフルマネージド型ワークフローで調整できるため、すばやくアプリケーションをビルドおよび更新できます。多くの組織では、リソースを効率的に使用するためにバッチ処理ワークフローを並行して実行しています。ただし、処理するアイテムの数は不明な場合が多いため、並列ワークフローの実行時間を予測することは困難です。これらの並列ワークフローのデバッグおよび構築は困難
AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18
AWS Step Functions がワークフロー実行イベントのサポートを追加
AWS Step Functions で、イベント駆動型のサーバーレスワークフローの構築と監視をより迅速かつ簡単にする、ワークフロー実行イベントのサポートが開始されました。実行イベント通知は、CloudWatch Event を通したワークフローの開始または完了時に、AWS Lambda、Amazon SNS、Amazon Kinesis、あるいは AWS Step Functions などの、イベントの自動応答のターゲットに自動的に配信されます。 Step Functions の CloudWatch Event 通知は数分で有効化できます。お客様に必要なのは、ステートマシン、通知の対象、およびどのようなイベントの変更が重要かを特定するだけです。 AWS Step Functions を使えば、アプリケーションに柔軟なワークフロー自動化を追加できます。ワークフローのステップは、AWS L
AWS Step Functions ワークフローをローカルで開発してテストする
ローカルバージョンの AWS Step Functions を使用して、ワークフローを開発およびテストすることができるようになりました。 Step Functions のダウンロード可能バージョンである AWS Step Functions Local では、お客様の開発環境で実行されている Step Functions のバージョンを使用してアプリケーションを開発およびテストできます。サービスをインターネット上ではなくローカルで使用することによって、場合によっては速度があがり、Step Functions の状態遷移が少なくなり、サンドボックスの制限をより簡単に強化できます。 AWS Step Functions Local は、JAR パッケージおよび Docker イメージとして使用可能です。AWS Step Functions Local の Docker イメージを使用すると、す
AWS Step Functions にさらに 8 つのサービスが統合
AWS Step Functions がさらに 8 つの AWS サービスと統合し、ワークフローの構築の高速化、保護の簡素化、モニタリングの容易化をさらに推し進めました。 AWS Step Functions を使えば、アプリケーションに柔軟なワークフロー自動化を追加できます。ワークフローのステップは、AWS Lambda 関数、Amazon EC2、オンプレミス等、どこにでも存在できます。今回、AWS Step Functions は、Amazon ECS、AWS Fargate、Amazon DynamoDB、Amazon SNS、Amazon SQS、AWS Batch、AWS Glue、Amazon SageMaker とも統合されました。これにより、バッチ処理ジョブの起動、メディアまたはデータファイルの処理、通知の送信、機械学習ワークフローのオーケストレートが必要なアプリケーショ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The AWS Step Functions Workshop
Announcing Workflow Studio, a new low-code visual workflow designer for AWS Step Functions
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
GitHub - awslabs/statelint: A Ruby gem that provides a command-line validator for Amazon States Language JSON files.