処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO
AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を
![[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz
AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
AWS で予約実行や定期実行などのスケジュール処理を実装する場合に、Amazon EventBridge を使用してスケジュールベースのルールを組むことはプラクティスの 1 つだと思います。しかしながら、Amazon EventBridge を使ったスケジュール処理には以下のような課題があります。 予約時刻から数分程度ズレで実行される場合がある AWS Lambda を実行する場合に非同期呼び出しとなるため、複数起動される場合がある これらが許容される場合は特に問題がありませんが、許容できない場合には AWS Step Functions を使うことで正確な時刻での配信が出来るスケジューラーを構築することが出来ます。 なお、以下の GitHub でソースコードは公開していますので興味がある方は是非触ってみてください。 Serverless Dynamic Scheduler
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
State machines orchestrate the work of AWS services, like Lambda functions. When one function ends, it triggers another function to begin. Although Max Duration is significantly different, Express workflow allows more scalability. Moreover, Express workflow pricing is constructed with more details since users will have to pay for the number of executions, including the duration and memory used for
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
Amazon Web Services ブログ 新機能 – Step Functions が動的並列処理をサポート マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に
[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた | DevelopersIO
[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました！！ [アップデート]Step Functionsで動的並列処理がサポートされました！ 担当していた案件で、S3上にある直近24時間分ファイル群（各ファイル名に秒までの時刻が入っている）を、 1分毎にまとめて別のバケットに移すような処理があり、 これはまさにMapステートに最適な素材でしたので、Mapステートを使ったリファクタリングをしてみました！ この記事では、ServerlessFrameworkのStep Functionsプラグインを用いています。 （対応早くて助かる！！）
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました CX事業本部@大阪の岩田です。タイトルそのままなのですが、本日のアップデートでStep FunctionsがEventBridgeとのサービス統合をサポートしました。 従来もサービス統合としてSNSがサポートされていましたが、EventBridgeにはSNSと比較して 設定可能なターゲットが多い アプリケーションが発行するイベント以外にAWS上のイベントやサードパーティ製品のイベントもキャプチャ可能 ※Step Functionsとの統合には無関係ですが メッセージのフィルタ機能がSNSに比べて優秀 スキーマレジストリが利用可能 イベントデータの変換が可能 といったメリットがあります。 5 reasons why you should use EventBridge i
AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 最近のStep Functionsのアップデートで新しい組み込み関数が14個追加されましたが、その中には文字列置換を行う組み込み関数はありませんでした。 しかし、それらのうちStates.StringSplitを活用すれば、AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていたので、今回はその実装（AWS CDK）を紹介します。 やってみた 実装 例えば日付文字列の-を/に置換したい場合を考えてみます。よくありそうな置換パターンですね。 置換前：2022-09-02 置換後：2022/09/02 この場合は置換対象の文字列-が特定数（今回は2つ）含まれているので、そのことを前提とし、次のようなCDK Stack定義による実装を行いました。 lib/aws-cdk-app-stack.ts import
「注文サービスをサーバーレスで作ってみた」JAWS DAYS 2020登壇資料 #jawsug #jawsdays #jawsdays2020 | DevelopersIO
「注文サービスをサーバーレスで作ってみた」JAWS DAYS 2020登壇資料 #jawsug #jawsdays #jawsdays2020 本記事ではAWS上の分散トランザクションを構築する方法を紹介させて頂きたいと思います。あと、そのトランザクションの結果をストリーミングさせ、クライアントにデータが自動で連携される仕組みについても紹介させて頂きます。最後に、私が作ってみたサービスのフルコードのGithubレポジトリーを共有致します。 本記事は、オンラインで開催された「JAWS DAYS 2020」の登壇記事となります。 はじめに こんにちは、コンサル部のテウです。 去年の年末年始休暇中、マイクロサービスのいろんな実装パターンについて勉強をしましたところ、分散トランザクションのことにすごく興味が出来ました。そもそもトランザクションの意味だけが分かっていたレベルだったのですが、もっと詳し
[アップデート]Step Functions ステートマシンのネストが可能になりました！ | DevelopersIO
Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になると思います。早速試してみたいと思います。 Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！ Announcement: AWS Step Functions Adds Support for Nested Workflows これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になります。また、複雑さの軽減も期待できると思います。 早速試してみたいと思います。 構成 ここでは2つのステートマシンを用意します。以下の様なイメージです。 ステートマシン作成 下位ステートマシン 下位ステートマシン「LowerStatemachine」を作成します。特に新しい
![[アップデート]Step Functions ステートマシンのネストが可能になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/509845a90d6115ba9383fdf786dfe54e94f2fcb1/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
コンサル部＠大阪オフィスのYui(@MayForBlue)です。 以前から気になっていた AWS Step Functions をゼロから勉強してみたので、内容をまとめました。 最近アップデートも多く、アツいサービスだと思います！ AWS Step Functions とは 分散アプリケーション、マイクロサービスのコンポーネントの疎結合化を可能にするAWSのマネージドサービス。 各コンポーネントが独立するため、アプリケーションのスケール及び変更を容易にすることができます。 一つの Step Functions の定義全体をステートマシンと呼び、これらはASL(Amazon States Language)と呼ばれる独自言語を用いて記述されます。 また、ASLを用いて定義されたワークフローはマネジメントコンソール上でビジュアライズされます。 AWS Step Functions とは ASL
Terraform で Step Functions プロジェクトを記述するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Terraform で Step Functions プロジェクトを記述するためのベストプラクティス Terraform は、HashiCorp が提供する、もっとも人気のある infrastructure-as-code (IaC) プラットフォームの 1 つです。AWS Step Functions は、開発者が AWS のサービスを利用して分散アプリケーションを構築したり、プロセスを自動化したり、マイクロサービスをオーケストレーションしたり、データと機械学習 (ML) のパイプラインを作成できるよう支援するビジュアルワークフローサービスです。 このブログでは、Terraform を利用してワークフロー (Step Functions ステートマシン) をデプロイするユーザーのためのベストプラクティスを紹介します。AWS Step Fun
[StepFunctions]ParametersやらResultPathやら…。ステート間のパラメータ受け渡しって結局どうなってるの？を１つの図にしてみた。 | DevelopersIO
こんにちは、平野です。 StepFunctionsを使っていて、ステート間を流れていく変数を追っていたんですが、 ParametersとかResultPathって、何度理解したと思っても忘れてしまうんですよね。 出来るだけわかりやすい一覧の図にできればいいなぁ、と思ったので作ってみました。 その過程で理解もだいぶ深まったので自分的には決定版になったかなと思います。 取り上げる範囲 取り上げる機能 今回取り上げる機能は以下の4つのみです。 ので、かなり基本的なことしか解説していません。 InputPath OutputPath ResultPath Parameters 説明に使用するステート StepFunctionsのステートにはいくつかの種類がありますが、 今回はLambda関数を呼ぶTaskステートを使って説明します。 これは、Lambdaは使ったことがある人も多いだろうし、一番わか
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか | Amazon Web Services
Amazon Web Services ブログ DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか 本ブログは、DAZN の Russ Johnson と、AWS の Corneliu Croitoru、Chris Fane によって共同執筆されています。 このブログ記事では、グローバルなスポーツエンターテイメントプラットフォームである DAZN が、ライブスポーツストリーミングイベントを自動化するために、軽量でモジュラー式かつ拡張可能なオーケストレーターを構築するために、Amazon Web Services（AWS）の AWS Step Functions をどのように使用したのかをご説明します。DAZN はこのアーキテクチャにより、イベントの分類設定と耐障害性の要件に基づき、ジャスト
AWS Step Functions コールバックを利用した外部システム連携 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions コールバックを利用した外部システム連携 Shared Delivery Teams で Sr. Cloud App Architect を務める Zach Abrahamson による記事です。 AWS Step Functions を使用すると、複数の AWS サービスを調整してサーバーレスワークフローに落とし込めるため、アプリケーションの開発と更新を迅速に行うことができます。Step Functions を使用すると、AWS Lambda や Amazon ECS のようなサービスを機能豊富なアプリケーションに統合するワークフローを設計および実行できます。 ワークフローは一連のステップで構成され、あるステップの出力が次のステップの入力として動作します。Step Functions は各ステップを自動的
20190514 AWS Black Belt Online Seminar Amazon API Gateway Amazon Web Services Japan21K views•74 slides 20191029 AWS Black Belt Online Seminar Elastic Load Balancing (ELB)Amazon Web Services Japan67.5K views•83 slides
[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO
速報です！ 本日の Werner Vogels キーノートで、Step Functionsで大規模な並列処理を可能にする、「Step Functions Distributed Map」が発表されました！ これまで Step FunctionsにはもとよりMap並列処理を提供機能がありましたが、並列処理の同時実行数は最大40回という制限がありました。 Step Functions Distributed Mapで何ができるのか Mapは上記の制限により、数千件以上の項目を並列でタイムリーに処理することは困難でしたが、「Step Functions Distributed Map」により大規模な並列ワークロードの処理が可能になりました！！ 「Step Functions Distributed Map」では、最大1万回の並列ワークロードを起動することができます。並列で実行できる処理には、St
![[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0811654a8dac484dafd58339e445d07a684c2164/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F12%2Fstep-function-destributed-map-reinvent1.png)
[アップデート]Step Functionsで動的並列処理がサポートされました！ | DevelopersIO
Step Functionsにアップデートがあり、動的並列処理がサポートされました！これにより、前段のステート等で動的に生成した配列に対して、繰り返し処理、おまけに並列処理を行う事が可能になりました。早速試してみたいと思います。 Step Functionsにアップデートがあり、動的並列処理がサポートされました！ AWS Step Functions adds support for dynamic parallelism in workflows これにより、前段のステート等で動的に生成した配列に対して、繰り返し処理、おまけに並列処理を行う事が可能になりました。 早速試してみたいと思います。 やってみるための準備 ステートマシンから呼び出す、シンプルなLambda関数を作成します。 ここでは、CloudWatch Logsに存在するロググループを取得して、 取得したロググループそれぞれに
サーバーレスにおけるべき等性の実装 (バッチ処理と分散トランザクション編) ~サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第 4 回~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
このシリーズの 第２回 では、クライアントからバックエンドのサービスを利用する際に、なんらかの原因でエラーが発生した場合にクライアント側でリトライ処理が実行されると、リクエストが重複して送られる可能性があることを説明しました。クライアントからキューに対してメッセージを送信するようなサーバーレスのシステムにおいては、リトライ処理によって重複したメッセージが送信されてもメッセージの重複を排除する機能を利用することによってべき等性を実現する方法について解説を行いました。その中では、重複したメッセージをただ一度だけ処理する (Exactly Once) ことで、結果としてべき等性を実現するという具体的な実装方法と共に紹介しました。 第 3 回 では、キューからメッセージを取り出し、バックエンドのデータソースへ保存する処理においても、何らかのエラーによってリトライ処理が発生した場合に重複してデータの
はじめに 当エントリは弊社コンサルティング部による『AWS再入門ブログリレー 2019』の5日目のエントリです。 昨日はかずえによる「Amazon DocumentDB」でした。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 本日5日目のテーマは『AWS Step Functions』です。 「ブラックベルト」および「FAQ」を元に、基本的な仕組みおよび使
AWS Step Functionsの入門にピッタリ？ AWS公式のセルフスタイル・ワークショップが公開されました！ | DevelopersIO
みなさん、こんにちは！ 福岡オフィスの青柳です。 GUIベースの操作で様々なワークフローを作成できるAWSのサービスが「AWS Step Functions」です。 今回、このStep Functionsの入門にピッタリなAWS公式の「ワークショップ」が公開されました。 The AWS Step Functions Workshop https://catalog.workshops.aws/stepfunctions/en-US/ AWSのイベント等で開催されるワークショップで使われることを想定したコンテンツのようですが、自分のAWSアカウント環境を使って「自習」することもできるようになっています。 私自身あまりStep Functionsを触ったことがなかったので、この機会に「ワークショップ」でStep Functionsに入門してみました。 ワークショップの構成 最初に「Introd
Step Functionsの入出力処理の制御パラメータ（InputPath、 Parameters、ResultPathおよびOutputPath）を理解するために参照したドキュメント | DevelopersIO
Step Functionsの入出力処理の制御パラメータ（InputPath、 Parameters、ResultPathおよびOutputPath）を理解するために参照したドキュメント Step Functionsの入出力処理の制御で利用可能なパラメータ（InputPath、 Parameters、ResultPathおよびOutputPath）の動きを理解するのに特に役に立ったAWS ドキュメントを紹介をしていきます。 こんにちは、CX事業本部の若槻です。 AWS Step Functionsの入出力処理の制御で利用可能なパラメータには以下のようなものがあります。 InputPath Parameters ResultPath OutputPath これらパラメータは使いこなせればとても便利ですが、直感では動きが分かりづらい部分があります。 そこで今回は、Step Functionsの
AWS Step Functionsのテンプレートの探索やデプロイ、共有が簡単にできる「Serverless Workflows Collection」を触ってみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 先日にAWS Blogで、AWS Step Functionsのテンプレートの探索やデプロイ、共有が簡単にできるServerless Workflows Collectionというサービスが紹介されていました。 Serverless Workflows | Serverless Land 今回は、Serverless Workflows Collectionを実際に触ってみました。 やってみた Serverless Workflows Collectionのメインページはこんな感じ。2022/07現在は17個のテンプレートがShareされています。 フィルターを使って見たいテンプレートを絞り込むことができます。 [Submit a workflow]からテンプレートの共有を行えます。 RepositoryのIssue作成画面が立ち上がるの
AWS CDKワークショップに入門して、Step Functionsステートマシンを実装してみた | DevelopersIO
こんにちは、平野です。 巷で話題のCDK（AWS Cloud Development Kit）、試してみたいなーと思ったので試しました（自己完結）。 題材として、最近ちょっと触っているStep FunctionsでLambda関数を実行するところまでを行いました。 言語はまあまあ使い慣れているPythonで行っています。 まず手始めに、下記のワークショップを実践しました。 https://cdkworkshop.com/30-python.html CDK気になるけど何からすればいいの？という人は、 とりあえずこれの通りにやるのが一番早いかと思います。 もちろんやってみた記事もありますので、こちらの記事もご参照ください！ （こちらはTypeScriptです） 【コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介 この記事では、上記ワークショ
AWS Step Functions と AWS Systems Manager を使用して、Amazon EBS ボリュームのサイズ変更を自動化する | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Systems Manager を使用して、Amazon EBS ボリュームのサイズ変更を自動化する アクティブなアプリケーションで、Amazon EC2 インスタンスの Amazon EBS ボリューム使用率がプロビジョニング済み容量に達してしまうことがあります。どのアプリケーションを使用しているかによって異なりますが、プロビジョニング済み容量が使い果たされると、アプリケーション停止のリスクが生じ、お客様に影響を与えることがあります。これに対するソリューションの 1 つに、アプリケーションへのフェールオーバーメカニズムの設計がありますが、オーケストレーションの負担になる可能性があります。より簡単なソリューションは、EBS ボリュームのサイズを自動的に変更することです。 Infor では、本番
AWS Serverless Application Model（以下、AWS SAM）は、サーバーレスアプリケーションのデプロイに特化した、CloudFormation（以下、CFn）の拡張機能です。 AWS SAMもテンプレートにリソースを定義し、デプロイの際はCFnが使用されます。AWS SAMはCFnに比べ、テンプレートを簡潔に定義できるのが特徴だったりします。 そんな、AWS SAMで、先日Step Functionsがサポートされました。 AWS SAM が新たに AWS Step Functions をサポート これにより、Lambda Functionとあわせ、呼び出し元（Step Functions）が定義できるようになりました。また、Step FunctionsのワークフローをAWS SAMテンプレート外に定義することで、Amazon States Language（以
【Developers.IO 2020 CONNECT】AWS CDK + AWS Step Functions入門 #devio2020 | DevelopersIO
CX事業本部の佐藤です。 クラスメソッドの年次技術イベント Developers.IO 2020 CONNECT で「AWS CDK ＋ Step Functions入門」という内容で動画を公開しています。 本セッションの概要 このセッションでは、AWS CDKを使って Step Functionsのワークフローを実装してみるという内容で、登壇しています。 AWS CDK、Step Functionsの概要について説明したあと、 CDKのプロジェクトの作成、必要なライブラリのインストール、StepFunctionsのワークフロー実装までを詳しく解説しています。 対象者 このセッションでは以下のような方を対象としています。 AWS CDKをまだ触ったことがない方 AWS Step Functionsを触ったことはあるが、Infrastructre as Codeで実装はしたことがない方 St
New – Step Functions Support for Dynamic Parallelism | Amazon Web Services
AWS News Blog New – Step Functions Support for Dynamic Parallelism Microservices make applications easier to scale and faster to develop, but coordinating the components of a distributed application can be a daunting task. AWS Step Functions is a fully managed service that makes coordinating tasks easier by letting you design and run workflows that are made of steps, each step receiving as input t
ステートマシーンを簡単に作るための「AWS Step Functions Data Science SDK」の紹介 | DevelopersIO
概要 当エントリは『機械学習 on AWS Advent Calendar 2019』の13日目のエントリです。 クラスメソッド 機械学習 on AWS Advent Calendar 2019 - Qiita クラスメソッド 機械学習 on AWS Advent Calendar 2019 ｜ シリーズ ｜ Developers.IO SageMakerを使ったワークフローをStepFunctionsで実装したい、となった時にとてもお世話になりそうな「AWS Step Functions Data Science SDK」のサンプルスクリプトを触ってみたので、簡単な解説エントリーです。 対象者は「Step FucntionsとSageMakerに興味がある人」です。 本エントリーの最終ゴールは、下記のようなステートマシーンを「AWS Step Functions Data Science
サーバーレスアプリケーション開発におけるエラーハンドリング ~ ワークフローパターン 前編 ~ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
選択 第 1 回 オープニング 第 2 回 Web API パターン 第 3 回 イベント駆動のデータ加工、連携処理パターン 第 4 回 マイクロバッチ・ストリーミングパターン 第 5 回 ワークフローパターン 前編 第 6 回 ワークフローパターン 後編 ワークフローパターンは、条件分岐を含むシーケンシャンルなステップの集合です。それらのハンドリングを一つのプログラムモジュールで実現しようとすると、条件判断や、エラーハンドリング、リトライ、などのビジネスロジック外の本質的ではないコードが多く記述されることになり、また単一のモジュールにすべての処理をまとめると、各々の処理が密結合になるリスクなどもあります。 こういったリスクを排除するために、ワークフローエンジンを利用し、各処理単位で独立したタスクに切り出したプログラムモジュールを組み合わせて、本質的ではないタスク間の連携処理については、ワ
Step Functions と Lambda Function で組む Athena によるファイル処理 / serverless lightweight etl
本セッションではイベント管理サービスを例にとり、セッション情報のCSVファイルとチケット情報のCSVファイルからひとつのファイルに変換するETLを考えていきます。AWS Glue と Amazon Athena のことを知り、サーバーレスアプリケーションに組み込むイメージを持って帰ってもらうことが目的です。 アプローチ： ・AWS Glue と Amazon Athena のことを知る ・ファイル to ファイル のETLユースケースを考える ・AWS CDK でリソースを作成してみる
はじめに 皆さんStep Functions使ってますか？ 今回はStep Functionsがいかに簡単で可能性があるのか、を伝えるために入門記事を書いてみようと思います。 Step Functionsは基礎部分を理解すればある程度使いこなすことができるので、皆さんぜひ使ってみてください。 作るステートマシンの全体像 今回はサンプルとして複数のバケットを空にするようなステートマシンを作成します。 画面からバケットを空にするのはボタンを押すだけなので簡単ですが、自動化しようと思うとコードを書かないといけないので面倒です。 GUIを使ってステートマシンを作って、定期起動すれば自動化できるので、ノーコードで実現できるので便利ですよね？ね？？？ 下準備 まず、名前は何でもいいのでバケットを2つ作成してください。 また、それぞれのバケットに適当なファイルを保存してください。 今回は以下2つのバケッ
AWS Step Functionsのワークフローへ承認フローを追加する方法(AWS Systems Manager Automation編) - NRIネットコムBlog
小西秀和です。 AWSで承認フローの機能を提供するサービスにはAWS Systems Manager AutomationやAWS CodePipelineの承認アクションなどがあります。 今回はこれらのうち、AWS Systems Manager Automationの承認アクションを使用してAWS Step Functionsのワークフローへ承認フローを追加する方法を試してみたいと思います。 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致します。また、予告なく修正することもありますのでご了承ください。 今回の記事の内容は次のような構成になっています。 本記事で試す構成図 AWS CloudFormationテンプレートとパラメータの例 AWS CloudFo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでバッチ処理を実装する際の選択肢とサービス比較
AWS Step Functions: What Can They Be Used For? | Dashbird
新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
AWS Step Functions をゼロからざっくり理解する | DevelopersIO
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
20190522 AWS Black Belt Online Seminar AWS Step Functions
AWS再入門ブログリレー AWS Step Functions 編 | DevelopersIO
Step Functionsの構築はAWS SAMを利用すると捗りそうです | DevelopersIO
AWS Step Functions入門 - Qiita
www.uta-net.com
ameblo.jp/hamakiyo-2912
diamond.jp
news.yahoo.co.jp
news.yahoo.co.jp
qiita.com/nonkapibara