Step Functions の Map ステートで、処理時間が劇的に短くなった話 - サーバーワークスエンジニアブログ
はじめに こんにちは。技術4課の河野です。最近作り置き料理にハマっていて、週末に平日分の夕飯を作るというライフハックを実践中です。 今回は、AWS Step Functions(以下「SFN」) の Map ステートについてのお話です。 要約 SFN で過去一年分のSlack投稿メッセージを取得するバッチを構築しました。 トータル処理時間が、1.5h （データ件数は 2万件程度）だったため、SFNの Map ステートを組み込んだところ処理時間が 10.0 min まで短くなったというお話です。 改善前 Slack投稿メッセージは、下記のような構成（ざっくり）で構築しました。 Slackのメッセージを取得する Lambda をタイムアウトするまでぶん回して、タイムアウトエラーを SFN 側でキャッチしてリトライするという力技です。 改善前の課題 冒頭でも述べた通り、「Slackメッセージを取
マッピング - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 マッピング Map 状態を使用して、データセット内の各アイテムに対して一連のワークフローステップを実行します。Map 状態の反復は並列で実行されるため、データセットを迅速に処理できます。Map 状態では、JSON 配列、Amazon S3 オブジェクトのリスト、CSV ファイルなど、さまざまな入力タイプを使用できます。 Step Functions には、ワークフローで Map 状態を使用するための処理モードとして、インラインモードと分散モードの 2 種類の処理モードがあります。 これらのモード、およびそのいずれかのモードで Map 状態を使用する方法の詳細については、次のトピックを参照してください。
Amazon States Language
Amazon States Language This document describes a JSON-based language used to describe state machines declaratively. The state machines thus defined may be executed by software. In this document, the software is referred to as "the interpreter". Copyright © 2016 Amazon.com Inc. or Affiliates. Permission is hereby granted, free of charge, to any person obtaining a copy of this specification and asso
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
状態 - AWS Step Functions
