並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 196件

新着順 人気順

"Step Functions"の検索結果1 - 40 件 / 196件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

"Step Functions"に関するエントリは196件あります。 aws開発AWS などが関連タグです。 人気エントリには 『ローコード開発ツール「AWS Step Functions」が大幅拡充、200以上のAWSサービスを組み合わせたクラウドアプリ開発が容易に』などがあります。
  • ローコード開発ツール「AWS Step Functions」が大幅拡充、200以上のAWSサービスを組み合わせたクラウドアプリ開発が容易に

    ローコード開発ツール「AWS Step Functions」が大幅拡充、200以上のAWSサービスを組み合わせたクラウドアプリ開発が容易に Amazon Web Services(AWS)は、同社のクラウドサービスとして提供しているローコード開発ツール「AWS Step Functions」で、200以上のAWSのサービスを新たにサポートしたことを発表しました。 ICYMI: AWS Step Functions expanded the number of supported AWS services from 17 to over 200, and AWS API Actions from 46 to over 9,000! https://t.co/Azq1LlAt3u — AWS Developers (@awsdevelopers) October 11, 2021 これまではA

      ローコード開発ツール「AWS Step Functions」が大幅拡充、200以上のAWSサービスを組み合わせたクラウドアプリ開発が容易に
    • AWS、ローコード開発ツール「AWS Step Functions Workflow Studio」リリース。サーバレスアプリをビジュアルプログラミング

      AWS、ローコード開発ツール「AWS Step Functions Workflow Studio」リリース。サーバレスアプリをビジュアルプログラミング AWSは、AWS Lambda関数やAWSのサービスなどをフローチャートのようにアイコンを組み合わせることでプログラミングを行える、ローコードビジュアル開発ツール「AWS Step Functions Workflow Studio」(以下、Workflow Studio)をリリースしました。 Workflow StudioはWebブラウザから利用する開発環境です。左側にAWS Lambda関数の呼び出しやAWSのさまざまなサービスがアイコンとして並んでいます。 Workflow Studioで開発された内容は、最終的にJSONベースのコード「Amazon States Language」( ASL)として出力されます。 Amazon S

        AWS、ローコード開発ツール「AWS Step Functions Workflow Studio」リリース。サーバレスアプリをビジュアルプログラミング
      • AWS Step Functions 入門ハンズオンを公開しました!&今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services

        Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました!&今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤(@ketancho)です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか?もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま

          AWS Step Functions 入門ハンズオンを公開しました!&今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
        • [アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO

          AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を

            [アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO
          • 広告配信を支えるバッチ基盤をサーバーレス移行した話(ECS Fargate, Step Functions)@ Serverless Meetup Tokyo #16

            Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021

              広告配信を支えるバッチ基盤をサーバーレス移行した話(ECS Fargate, Step Functions)@ Serverless Meetup Tokyo #16
            • Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog

              SREチームの藤原です。今回はAmazon ECSのサービス内のタスクを定期的に再起動することで、日々のメンテナンスコストを削減する話です。SRE連載 3月号になります。 3行でまとめ ECS Fargateのタスクは時々再起動が必要 人間が対応するのは面倒 Step Functionsを定期実行して常に新鮮なタスクに入れ換えて予防しよう ECS Fargateのタスクは時々再起動する必要がある ECS Fargateでサービスを運用していると、数ヶ月に一度ほどの頻度でこのようなお知らせがやってきます。 [要対応] サービス更新のお知らせ - AWS Fargate で実行されている Amazon ECS サービスの更新が必要です [Action Required] Service Update Notification - Your Amazon ECS Service Running

                Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog
              • AWS Step Functions × AWS SAMで実現する家族ノートの低運用コストETL基盤/ kazokunote-stepfunctions-awssam-etl

                2021/09/29 AWS Devday Online Japan 2021の登壇資料です

                  AWS Step Functions × AWS SAMで実現する家族ノートの低運用コストETL基盤/ kazokunote-stepfunctions-awssam-etl
                • AWS Step Functions と Serverless Framework の使いどころ - Techtouch Developers Blog

                  こんにちは、フロントエンドエンジニアの尾崎です。 6月のボーナスでロボット掃除機(Xiaomi)とコードレス掃除機(makita)を購入し、在宅勤務がますます快適になってきました。 さて、今回の記事では、テックタッチで AWS Step Functions をどのように活用しているかをお伝えしていきます。 記事の前半では、Step Functions の概要を説明しながらテックタッチでの利用方法について、 記事の後半では、Serverless Framework との組み合わせ方や本番運用してみてわかった Tips など、より実践的な内容に触れていきます。 AWS Step Functionsとは何か 処理順序の管理 AWSサービスとの連携 ワークフロー、ステップについて ユースケースの例 テックタッチでの利用方法 技術的なチャレンジ これまでの課題 Step Functionsを使う S

                    AWS Step Functions と Serverless Framework の使いどころ - Techtouch Developers Blog
                  • ジョブ管理システムをAWS Step Functionsに移行する時の勘所

                    ジョブ管理システムをAWS Step Functionsに移行する際に考えるべきこと注意することをまとめてみました。

                      ジョブ管理システムをAWS Step Functionsに移行する時の勘所
                    • AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services

                      Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz

                        AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services
                      • AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS

                        AWS で予約実行や定期実行などのスケジュール処理を実装する場合に、Amazon EventBridge を使用してスケジュールベースのルールを組むことはプラクティスの 1 つだと思います。しかしながら、Amazon EventBridge を使ったスケジュール処理には以下のような課題があります。 予約時刻から数分程度ズレで実行される場合がある AWS Lambda を実行する場合に非同期呼び出しとなるため、複数起動される場合がある これらが許容される場合は特に問題がありませんが、許容できない場合には AWS Step Functions を使うことで正確な時刻での配信が出来るスケジューラーを構築することが出来ます。 なお、以下の GitHub でソースコードは公開していますので興味がある方は是非触ってみてください。 Serverless Dynamic Scheduler

                          AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
                        • SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編) - コネヒト開発者ブログ

                          皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し,新しく検閲システムを開発したお話になります. こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります. ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい. tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので,前編と後編の2つに分けて紹介することにします. 前編:SageMaker TrainingJobを用いたモデル学習を行い,SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak

                            SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編) - コネヒト開発者ブログ
                          • 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay

                            AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.

                              分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
                            • お役立ち Twitter Bot を作りながら学ぶ AWS ドリル ~第 6 回 AWS Step Functions を使って Well-being Bot を作ろう ! (前編) - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS

                              ソリューションアーキテクト(SA)の金澤 (@ketancho) です。6 月になりましたが、皆さまいかがお過ごしでしょうか ? 私は通勤や退勤のときに 1 駅分歩いて気分をリフレッシュするようにしているのですが、この時期から雨と暑さでしばらくそれができなくなってしまうのが辛い今日この頃です。そして、6 月は祝日がないというハードモード.. はやく夏休みが来てほしいものです。皆さまも健康に気をつけてお過ごしください。 選択 第 1 回 おはよう Bot 編 第 2 回 昔書いた記事の宣伝 Bot 編 第 3 回 リファクタリング & 曜日ごとのツイート 編 第 4 回 新章突入 ! 気になるワード検索 & 通知 Bot 編 第 5 回 皆さまの代わりに英語でツイートしておくよ Bot 編 第 6 回 AWS Step Functions を使って Well-being Bot を作ろう !

                                お役立ち Twitter Bot を作りながら学ぶ AWS ドリル ~第 6 回 AWS Step Functions を使って Well-being Bot を作ろう ! (前編) - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
                              • [AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな

                                [AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな

                                  [AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
                                • Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation | Amazon Web Services

                                  AWS News Blog Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation Today AWS Step Functions expands the number of supported AWS services from 17 to over 200 and AWS API Actions from 46 to over 9,000 with its new capability AWS SDK Service Integrations. When developers build distributed architectures, one of the patterns they use is the workflow-based orchestratio

                                    Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation | Amazon Web Services
                                  • AWS Step Functions: What Can They Be Used For? | Dashbird

                                    State machines orchestrate the work of AWS services, like Lambda functions. When one function ends, it triggers another function to begin. Although Max Duration is significantly different, Express workflow allows more scalability. Moreover, Express workflow pricing is constructed with more details since users will have to pay for the number of executions, including the duration and memory used for

                                      AWS Step Functions: What Can They Be Used For? | Dashbird
                                    • AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO

                                      ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ

                                        AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
                                      • 新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services

                                        Amazon Web Services ブログ 新機能 – Step Functions が動的並列処理をサポート マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に

                                          新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services
                                        • [Step Functions]動的並列処理(Map)を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた | DevelopersIO

                                          [Step Functions]動的並列処理(Map)を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました!! [アップデート]Step Functionsで動的並列処理がサポートされました! 担当していた案件で、S3上にある直近24時間分ファイル群(各ファイル名に秒までの時刻が入っている)を、 1分毎にまとめて別のバケットに移すような処理があり、 これはまさにMapステートに最適な素材でしたので、Mapステートを使ったリファクタリングをしてみました! この記事では、ServerlessFrameworkのStep Functionsプラグインを用いています。 (対応早くて助かる!!)

                                            [Step Functions]動的並列処理(Map)を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた | DevelopersIO
                                          • Serverless Frameworkで構築するStep Functions | DevelopersIO

                                            Step Functionsの構築にServerless Frameworkを利用すると、JSONベースのステートメント言語から開放され、サクッと構築できましたので紹介したいと思います。 これまで、Step Functionsの構築にCFnやCLI等を利用していましたが、Serverless Frameworkを利用したところ、JSONベースのステートメント言語から開放され、サクッと構築できましたので紹介したいと思います。 Serverless FrameworkでStep Functionsを扱うにはプラグインが必要になります。 過去にStep Functionsプラグインを利用したエントリはありますが、プラグイン等もアップデートされていますので改めてやってみた系のエントリになります。 前提 Serverless Framework自体のインストールや、基本的な利用方法については割愛して

                                              Serverless Frameworkで構築するStep Functions | DevelopersIO
                                            • AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers

                                              NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び

                                                AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
                                              • SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(後編) - コネヒト開発者ブログ

                                                皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回は前回のエントリーに続いてその後編になります. tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります. 後編:SageMakerのリソースを用いてモデルのデプロイ(サービングシステムの構築)をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで,推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります. 今回紹介するのは下図の青枠箇所の内容になります. 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定(モデルの作成) エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械

                                                  SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(後編) - コネヒト開発者ブログ
                                                • Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO

                                                  Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた 上記の記事で紹介されていた Step Functions をローカル環境で実行する方法を実際にためしてみました。 Step Functions Local について 従来、AWS Lambda や Amazon SQS と連携した Step Functions をテストするには実際の AWS リソースのエンドポイントを叩く必要がありました。Step Functions Local ではローカル環境で Lambda などのサービスのレスポンスをモックすることで完全に隔離された環境で Step Functions の動作確認を行うことができます。 本記事の大まかな流れ SAM のサンプルプロジェクトを Pull Docker 環境でテストを実行

                                                    Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO
                                                  • [アップデート] AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました | DevelopersIO

                                                    [アップデート] AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました こんにちは、CX事業本部 Delivery部の若槻です。 このたびのアップデートにより、AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました。 AWS Step Functions adds integration for 35 services including EMR Serverless 195個のAPIが追加された前回のアップデートと比べてかなり大規模なアップデートとなっています。 アップデート内容 AWS SDK IntegrationのサポートするAWSサービスの変更ログはChange log for s

                                                      [アップデート] AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました | DevelopersIO
                                                    • Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO

                                                      こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl

                                                        Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
                                                      • AWS Step Functionsにサーキットブレーカーパターンを組み込んでみた | DevelopersIO

                                                        AWS Step Functionsステートマシン実行中、再試行で回避できない予期しない障害が発生したときは、再試行せず、失敗系フローに遷移する必要があります。 ステートマシンをまたいで障害を管理できるよう、Amazon DynamoDBで障害を管理し、ステートマシンの安定性と回復性を向上する方法を紹介します。 サーキットブレーカーパターンをStep Functionsのステートマシンに組み込んだソリューションとも言えます。 基本的な考え方は次のAWSブログを参考にし、C#の実装をPythonに変更し、DynamoDBのTTLも使わずに実装をシンプルにしています。 Using the circuit breaker pattern with AWS Step Functions and Amazon DynamoDB | AWS Compute Blog 想定するユースケース ステートマシ

                                                          AWS Step Functionsにサーキットブレーカーパターンを組み込んでみた | DevelopersIO
                                                        • Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services

                                                          AWS News Blog Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing I am excited to announce the availability of a distributed map for AWS Step Functions. This flow extends support for orchestrating large-scale parallel workloads such as the on-demand processing of semi-structured data. Step Function’s map state executes the same processing steps for multi

                                                            Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services
                                                          • [アップデート] AWS Step Functionsの組み込み関数が14個追加されて配列や数値などの操作が簡単になりました | DevelopersIO

                                                            これはイイですね。とてもイイです。 以下AWS公式ドキュメントに各組み込み関数の詳細な使い方が記載されています。(表示されない場合は言語をEnglishに変更してみてください) 追加された組み込み関数をちょっと試しみましょう。 以下のようにPassステートで追加された組み込み関数を実行するステートマシンを用意しました。 { "Comment": "A description of my state machine", "StartAt": "Pass", "States": { "Pass": { "Type": "Pass", "End": true, "Parameters": { "ArrayPartition_Key.$": "States.ArrayPartition($.inputArray,2)", "ArrayContains_Key.$": "States.ArrayCo

                                                              [アップデート] AWS Step Functionsの組み込み関数が14個追加されて配列や数値などの操作が簡単になりました | DevelopersIO
                                                            • AWS BatchとStep Functionsの10分間チュートリアルをやってみた | DevelopersIO

                                                              AWS BatchとStep Functionsの組み合わせを一回触りたいなと思い、10分でできるチュートリアルをやってみました。 やってみた感想 AWS Batchは設定を手動で入れるため設定必要な箇所の感覚をつかめる Step Functionsはワークフローコピペなので雰囲気しかつかめない チュートリアル通りだとハマるのでエラー対処方法を紹介します やってみた こちらのチュートリアルに沿ってすすめます。実際にビデオのエンコードを行うことはなく、Step Functionsのワークフローの流れで素のAmazon Linux2コンテナが起動して終了するだけの非常にシンプルな内容です。 ステップ 1: セットアップ AWS Batchのダッシュボードのデザインがアップデートされています。デザイン変更でとくに困るようなことはありませんでした。 ステップ 2: バッチジョブをセットアップする

                                                                AWS BatchとStep Functionsの10分間チュートリアルをやってみた | DevelopersIO
                                                              • Step Functions開発の「うーむ…」にVSCodeとAWS ToolKitで挑んでみる話 | DevelopersIO

                                                                こんにちは。AWS事業本部のKyoです。 Step Functions便利そう。でもなんかちょっとハードル高いな。特にAmazon States Language (ASL)というやつが...。 感じているハードル 感じているハードルをもう少し具体的にしてみましょう。 ASL = 長いJSON を人力で書くのがうーむ... Step Functions以外では使わないASLについて調べて書くのがうーむ... デバッグやりにくそうなのがうーむ... これらはVisual Studio Code (VSCode)とAWS ToolKitを使うと解決できそうです。 上記のエントリでVSCodeとAWS ToolKitを使えば、VSCodeから以下が可能になることが述べられています。 ステートマシン定義 ステートマシン可視化(プレビュー) ステートマシン実行 VSCodeから定義、可視化、実行が可

                                                                  Step Functions開発の「うーむ…」にVSCodeとAWS ToolKitで挑んでみる話 | DevelopersIO
                                                                • AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services

                                                                  Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18

                                                                    AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services
                                                                  • CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda) - KAYAC engineers' blog

                                                                    カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集

                                                                      CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda) - KAYAC engineers' blog
                                                                    • 【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO

                                                                      【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました CX事業本部@大阪の岩田です。タイトルそのままなのですが、本日のアップデートでStep FunctionsがEventBridgeとのサービス統合をサポートしました。 従来もサービス統合としてSNSがサポートされていましたが、EventBridgeにはSNSと比較して 設定可能なターゲットが多い アプリケーションが発行するイベント以外にAWS上のイベントやサードパーティ製品のイベントもキャプチャ可能 ※Step Functionsとの統合には無関係ですが メッセージのフィルタ機能がSNSに比べて優秀 スキーマレジストリが利用可能 イベントデータの変換が可能 といったメリットがあります。 5 reasons why you should use EventBridge i

                                                                        【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO
                                                                      • AWS入門ブログリレー2024 〜AWS Step Functions編〜 | DevelopersIO

                                                                        当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の50日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう!という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマはワークフローを制御する『AWS Step Functions』です。 AWS Step Functionsの概要 AWS Step Functio

                                                                          AWS入門ブログリレー2024 〜AWS Step Functions編〜 | DevelopersIO
                                                                        • DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO

                                                                          コンバンハ、千葉(幸)です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D

                                                                            DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO
                                                                          • Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO

                                                                            Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams(以降、KDS)とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード(Contact Trace Record, CTR)として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され

                                                                              Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
                                                                            • AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていました | DevelopersIO

                                                                              こんにちは、CX事業本部 IoT事業部の若槻です。 最近のStep Functionsのアップデートで新しい組み込み関数が14個追加されましたが、その中には文字列置換を行う組み込み関数はありませんでした。 しかし、それらのうちStates.StringSplitを活用すれば、AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていたので、今回はその実装(AWS CDK)を紹介します。 やってみた 実装 例えば日付文字列の-を/に置換したい場合を考えてみます。よくありそうな置換パターンですね。 置換前:2022-09-02 置換後:2022/09/02 この場合は置換対象の文字列-が特定数(今回は2つ)含まれているので、そのことを前提とし、次のようなCDK Stack定義による実装を行いました。 lib/aws-cdk-app-stack.ts import

                                                                                AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていました | DevelopersIO
                                                                              • Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ

                                                                                Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で

                                                                                  Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
                                                                                • [アップデート]Step Functions ステートマシンのネストが可能になりました! | DevelopersIO

                                                                                  Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました!これにより、上位/下位でワークフローを分離でき、モジュールのように再利用可能になると思います。早速試してみたいと思います。 Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました! Announcement: AWS Step Functions Adds Support for Nested Workflows これにより、上位/下位でワークフローを分離でき、モジュールのように再利用可能になります。また、複雑さの軽減も期待できると思います。 早速試してみたいと思います。 構成 ここでは2つのステートマシンを用意します。以下の様なイメージです。 ステートマシン作成 下位ステートマシン 下位ステートマシン「LowerStatemachine」を作成します。特に新しい

                                                                                    [アップデート]Step Functions ステートマシンのネストが可能になりました! | DevelopersIO

                                                                                  新着記事