Kinesis Data StreamsとLambdaの連携で、処理済みのレコードが重複して実行されました | DevelopersIO
困っていた内容 Kinesis Data StreamsをトリガーにLambdaを動作させています。 Lambdaのトリガーを有効から無効に切り替えた場合に、 既に処理済みのレコードが、重複して実行されました。 ・Kinesisにput_record実施 ・先頭の何件かのレコードをLambdaで実行 (A) ・update_event_source_mappingでトリガを無効化 10分待機した後、 ・update_event_source_mappingでトリガを有効化 ・後続の何件かのレコードをLambdaで実行 (B) → (A)で処理済みのレコードが、重複して実行された 重複して動作する理由を教えていただけないでしょうか？ どう対応すればいいの? Kinesis Data Streamsは、複数のアベイラビリティゾーンでデータを複製して保持しています。 分散型の特質を持っていますの
Lambda 関数の同時実行数を1にしても冪等性の担保から逃れることは出来ない
TL; DR1つのイベントから2回 Lambda 関数が起動する場合、1つの Lambda 関数が起動して終了した後に、もう1つの Lambda 関数が起動してくる可能性があるため。 冪等性の担保から逃れることは出来ない！ そもそも AWS Lambda の同時実行数とは AWS Lambda のスケーリング単位は同時実行数です (詳細については「スケーリング動作について」を参照)。ただし、すべてのシナリオで無期限にスケーリングすることは望ましくありません。たとえば、同時実行数をコスト上の理由や、イベントのバッチの処理にかかる時間や、ダウンストリームリソースに合わせて制御できます。そのために、Lambda にはアカウントレベルと機能レベルの両方で同時実行数の制限を制御する機能が用意されています。 AWS Lambda のスケーリングは AWS が管理してくれるので楽ちんですが、無限にスケー
LocalStackをつかってローカルでLambdaを実行してみた | DevelopersIO
どうも！AWS勉強中の西村祐二＠大阪です。 今回は前々からさわってみたいと思っていた AWSのモックフレームワークを提供する「LocalStack」をつかって ローカルでLambda関数を実行してみたいと思います。 LocalStackとは クラウドアプリケーションを開発するための使いやすいテスト/モッキングフレームワークを提供するツールです。 イメージとしては、ローカルに擬似的なAWS環境を作ってくれて、 料金など気にせずにテストや動作確認を可能にしてくれます。 LocalStackが提供しているAWSサービス API Gateway Kinesis DynamoDB DynamoDB Streams Elasticsearch S3 Firehose Lambda SNS SQS Redshift ES (Elasticsearch Service) SES Route53 Cloud
LaravelをAWS Lambdaで動作させてデータベースにはAurora Serverlessを使ってみた - Qiita
LaravelをAWS Lambdaで動作させることができる素敵な時代になっていたので、Laravel SailとLaravel Breezeでログイン機能を実装したプロジェクトをServerless Frameworkを利用してデプロイしてみました。 前提 こちらのGitHubリポジトリを利用してデプロイ環境を構築する手順です。 環境構築後の内容はこちらのブランチにおいています。 手順 Serverless Frameworkのインストール セットアップスクリプトが提供されているのでそれを利用します。 > curl -o- -L https://slss.io/install | bash > serverless -v Framework Core: 2.30.3 (standalone) Plugin: 4.5.1 SDK: 4.2.0 Components: 3.7.4 Serve
LocalStack導入から実行まで - Qiita
はじめに 最近、AWS API GateWay + Lambdaを使用して、サーバレスでWeb APIを作成する機会がありました。 AWS コンソールから関数の作成、コードの編集を行う、といった体制で進めていましたが、一つの問題が出ました。 それが「コード書き換えてしまう問題」です 具体的に説明しますと、作業者AがとあるLambda関数を編集中に、作業者Bが同じLambda関数を更新しました。 その後、作業者Aが編集内容を更新すると、作業者Bの編集した内容が消えてしまうという問題です。 当時はバージョンの発行を行なっておらず、消えてしまったコードを遡ることができませんでした（このことを機にバージョン発行を覚えました） 元々、Lambdaで作成したソースコードをGitで管理したい、ローカル環境でテストしてから反映したい、等の意見を頂いていたので、ローカルによるLambda関数の実行、バージョ
サーバーレス LAMP スタック – Part 4: サーバーレス Laravel アプリの構築 | Amazon Web Services
Amazon Web Services ブログ サーバーレス LAMP スタック – Part 4: サーバーレス Laravel アプリの構築 本投稿は AWS サーバーレス アプリケーションのシニアデベロッパーアドボケートである Benjamin Smith による寄稿です。 本シリーズの他のパートは以下のリンクからアクセスできます。また、関連するサンプルコードはこちらの GitHub リポジトリにあります。 パート1：サーバーレス LAMP スタックの紹介 パート2：リレーショナルデータベース パート3：Webサーバーの置き換え パート5：CDK コンストラクトライブラリ パート6：MVC からサーバーレスマイクロサービスへ この投稿では、サーバーレスアプローチで Laravel アプリケーションをデプロイする方法を学びます。 これは「サーバーレス LAMP スタック」シリーズの4番
サーバーレス開発を始めて６ヶ月間なので振り返りをしてみる - YOMON8.NET
今の会社(BeeX Inc.)に来て、半年くらいサーバーレス開発をやってきました。 やっと人並みに（？）サーバーレス開発進められるようになったのと、開発が一息ついたので振り返りをしてみようと思います。 はじめに サーバーサイドについて 使用サービス LambdaはGolangで書きました Golangで辛かったこと Golangで良かったこと クライアントサイド サーバーレス開発が大変だったこと 関連コンポーネントが多い 障害の原因特定が難しい ネットワーク絡むとハマりやすい 統合テストが大変 裏の動きが見えない 情報収集の難易度が高い サーバーレス開発で良いと思ったこと サービスの環境全部をコードで表現できる 処理の特性によっては圧倒的に安い OSに入らない、入れない 運用が楽になる（はず） まとめ はじめに 初めてのサーバーレス開発を手がけたこの数カ月を振り返ってみると、エンジニアとし
Lambda を軸にサーバレスを解説した「実践 AWS Lambda」を読んだ - kakakakakku blog
AWS Summit Tokyo 2017 の先行発売でゲットした「実践 AWS Lambda」をさっそく読んだ．Lambda の解説だけではなく，サーバレスの文脈で導入事例が増えてきたアーキテクチャ（ユースケース）の紹介がされていたり，サーバレスのデプロイツールとして AWS SAM の紹介がされていたりして，非常に良書だった．Amazon を見ると，一般発売は明日 6/9 になっていたので，気になる人はすぐに買うと良いのでは！ 実践AWS Lambda ~「サーバレス」を実現する新しいアプリケーションのプラットフォーム~ 作者: 西谷圭介出版社/メーカー: マイナビ出版発売日: 2017/06/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る Chapter 3 AWS Lambdaの使い方 3-7 バージョニングとエイリアス Lambda 関数の ARN にバージョン
LambdaをつかってS3にPUTされた情報のメタデータをDynamoDBで楽に管理する - Qiita
AWS Lambdaはre:Inventで発表された新しいコンピュートプラットフォームでクラウド上でコードスニペットをイベントドリブンで比較的簡単に動かせる特徴があります。例えばS3にデータがあがったとき、など今までだとどうしてもEC2をたてて、定期的にチェックをしながら動かす必要があったものが、文字通りS3側からイベントを発火してもらえるので、よけいなポーリングなどの手間がへり、結果的にコストをおさえながら目的を果たしやすくなっています。 そこで今回はS3上にあがったデータのメタデータをDynamoDBに管理するLambdaファンクションを作ってみたいと思います。 プレビューへの登録 まずはAWS Lambdaのプレビューを申し込みます。こちらから申し込む事が出来ます。 プレビュー申し込みは順番に案内しているみたいなので、申し込んだらあとは祈るのみです。 ファンクションの作成 今回はS3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[localstack] ローカル環境にAWSサービスのモックを作り開発をする - Qiita![[localstack] ローカル環境にAWSサービスのモックを作り開発をする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cc2a754631fa977a4e97a608d2a6768d4c1cc2fb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCbG9jYWxzdGFjayU1RCUyMCVFMyU4MyVBRCVFMyU4MyVCQyVFMyU4MiVBQiVFMyU4MyVBQiVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MSVBQkFXUyVFMyU4MiVCNSVFMyU4MyVCQyVFMyU4MyU5MyVFMyU4MiVCOSVFMyU4MSVBRSVFMyU4MyVBMiVFMyU4MyU4MyVFMyU4MiVBRiVFMyU4MiU5MiVFNCVCRCU5QyVFMyU4MiU4QSVFOSU5NiU4QiVFNyU5OSVCQSVFMyU4MiU5MiVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Nzc5OTFlOTQyNzY2ZDc1N2E3ODk5MmExMjFjNjNhZDY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBZdWtpX0JCMyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZWVkZDBiMmFmMWIwMGU2MDExMTExNDA5MjBiODc1ZmY%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D00a5ff40449c8bbbc30c620bd52d277d)
GitHub - brefphp/laravel-bridge: Package to use Laravel on AWS Lambda with Bref
