Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
lambroll と bash layer で気軽に Lambda shell script を実行する - 酒日記 はてな支店
先日えいやと書いた AWS Lambda のデプロイツール lambroll ですが、これと公開済みの bash layer を使うとかなり気軽に(雑な) shell script を Lambda で実行できて体験がよかったので書いておきます。 AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店 ちょっとしたものをLambdaで書くの億劫さのほうが強かったけど、bash layerとlambrollを使ったら雑shell scriptをホストで書いてるのに近い感じになり、顧客が本当にほしかったもの感があるなこれ— fujiwara (@fujiwara) 2019年11月13日 今回はとある理由で ECS のサービス内のタスクを定期的に入れ換えたかったので、aws ecs update-service を一発実行する、という要件。やりたい
AWS Lambdaで運用した実績から得られた、serverless frameworkのオススメ設定とプラグインの知見 - GA technologies Tech Blog
はじめまして。株式会社GA technologies のService Development Division (開発部門) エンジニアの永冶といいます。 今後、この技術ブログを通して様々なことをアウトプットし、記事を閲覧する方の力に少しでもなれたらと思います。よろしくお願いします。 この記事を書いた経緯 弊社ではAWS Lambdaを 画像の圧縮 Slackへの通知 外部サービスとの連携 などで幅広く使用しています。数多くのLambda関数を管理する上で、設定の可視化とデプロイの自動化は避けては通れません。設定の可視化とデプロイの自動化を達成するために、弊社のいくつかのプロジェクトではserverless frameworkを使用しています。 社内で運用を続けていく上で、serverless frameworkを使用する時のオススメの設定やプラグインが洗練されてきました。 この記事を読
Lambdaの本番業務利用を考える① – ログ出力とエラーハンドリング
大柳です。 サーバレス・アーキテクチャがここ数年ブームです。その中でもAWS Lambdaがサーバレスを実装する方法として、様々なシーンで活用されています。 サーバレスは、その名の通りサーバを用意することなく、コードを動かすことができるためとても便利ですが、従来のサーバ上でのシステム稼働と勝手が違います。特に本番業務で使うにあたっては、構成や運用を考える必要があります。 Lambdaをこれまで使ってきた中で、このあたりをいろいろと考えてきましたが、以下の２つの考慮が必要と考えています。 ・動作確認やエラー調査に必要な情報をログに出力する ・エラー時の動作をハンドリングする 今回は、Lambdaでこの２点を実装する方法を考えてみましたので、ご紹介します。言語はPython3.6で実装しています。 結論 以下の３つを実装しました。 ・ログ出力はloggerを使用して、環境変数によりロギングレベ
AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする - Qiita
CloudWatch LogsのログをS3にエクスポートする方法としてはKinesis Firehoseなどがありますが、頻繁にエクスポートしなくても良い場合もあります。 その場合の選択肢の1つとしてStep Functionsもあるのかなと思って実装してみました。 大まかなながれ CloudWatch Eventsで定期的にStep Functionsを実行 Step Functionsで複数のログに対してLambdaを実行 CloudWatch LogsのS3エクスポートタスクを実行 ロググループ名やバケット名をStep Functionsから渡すことによってLambdaを汎化できる CloudWatch LogsのS3エクスポートタスクをポーリングする 複数同時にS3へのエクスポートタスクを実行できないため おさらい 視覚的なワークフローを使用して、分散アプリケーションとマイクロサー
AWS Lambda を使って Mackerel のアラートを Backlog にインシデント登録する - えいのうにっき
掲題の件を試してみたのでメモ。今回Lambda側の実装はGoにしてみた。Lambda で Goが使えるようになってからまだ一度も Lambda function を Go で書いてみたことがなかったので......。 以下手順。Mackerel や Backlog を使っていなくても、Lambda function の Go実装という観点でも多少参考にはなるかも？ Backlog で API Key を取得しておく Lambda function から Backlog API を叩くことになるので、API Key が必要になる。 個人に紐付くもののようなので、「個人設定」から取得しておく。 Lambda function の作成 今回の連携のための function（関数）を新たに作成する。 AWSコンソールで Lambda を開くとあちこちにある↓のようなボタンから function の
インフラエンジニアがSlack スラッシュコマンド + API Gateway + Lambdaでサーバーレスボットを作った話 — みんなのウェディングエンジニアリングブログ
みんなのウェディングのインフラエンジニア横山です。 今回はAWSのサービスを利用したサーバーレスなデプロイボットの作り方についてお伝えします。 作成の動機 弊社には、rubotyで作られた、minaというデプロイ用のボットが存在しており、こちらのボットにSlack上で話しかけることで本番環境へのデプロイを行っていました。 今回は、このminaの置き換えとしてサーバーレスなデプロイボットが作れないか取り組みました。 作成の動機は以下の2点です。 ボットのメンテナンスコストの削減 ボットが稼働するサーバコストの削減 概要 全体の流れは以下の図の通りです。 まとめると、 Slackのスラッシュコマンドを実行 API Gatewayにリクエストが届く API Gatewayに紐づけられたLambdaでデプロイ処理が実行される デプロイされる ※AWS側のリソースはSAMで管理。 といった感じです。
運用的関心事を実験的にAWS Lambda on VPCにお任せしてみたので所感
リリースした時はきれいだったコードも、運用に曝されることで汚くなっていったりしますよね。 ChatOpsな今のプロジェクトでは、「とあるイベントが発生した際に、運用担当者が迅速に反応できるようSlackに通知してほしい」という要望が出てきたりしています。以前であれば、メール通知してたところでしょうかね。 運用的関心事は移ろいやすい かつてJavaでAOPが流行りだした頃に、ロギングだったり権限チェックだったりの処理をメソッドにweavingしたInterceptorに追いやるという、所謂「横断的関心事」をビジネスロジックの本質から除外するという手法がありましたね。 自分が運用的関心事と言っているのは何のことかというと、 アプリケーション本体の正常な動作にとっては無関係だけど、運用的には知っておきたい事柄 のことを指します。 弊社も最近は組織的にSlackが導入になったということもあって、ユ
AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する | Amazon Web Services
Amazon Web Services ブログ AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する AWS CloudTrail ログを簡単に視覚化できることは、AWS インフラストラクチャがどのように使用されているかについてより良い理解を提供してくれます。また、AWS API コールの監査とレビューを行って、AWS アカウント内のセキュリティ異常を検知するためにも役立ちます。これを行うには、CloudTrail ログに基づいた分析を実行できる必要があります。 この記事では、Amazon S3 内の AWS CloudTrail ログを JSON 形式からクエリ用に最適化された形式のデータセットに変換するための AWS Glue と AWS Lambda の使用について詳しく説明します。その後、Amazon Athena
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
クロスアカウントなLambdaをSNS TopicにSubscribeする | DevelopersIO
西澤です。今回は、SNS Topicに異なるAWSアカウントのLambdaをSubscribeする手順をまとめておきます。下記の公式ドキュメントに丁寧な手順が書かれてはあるのですが、確認の手順等、注意事項がいくつかあったので、それを補う形で書いてみたいと思います。 ステップ 3: クロスアカウント権限のセットアップ - AWS Lambda 概要 今回整理するのは、AWSアカウントA(111111111111)のSNS Topicから、AWSアカウントB(222222222222)のLambda Functionを呼び出すことができるようにする為に必要となる権限設定の手順です。 SNS TopicやLambda Functionそのものの作成手順には触れません。それぞれ既に作成済であることを前提とします。公式ドキュメントには一部AWS Management Consoleからは行えない操作
Apex の --env オプションを使って Lambda を複数環境にデプロイする - kakakakakku blog
最近仕事で必要になり，CircleCI + Apex を使って，Lambda を複数環境 (prd / stg / dev など) にデプロイできる仕組みを作ったので，実現したかったこと，工夫したことなどを紹介したいと思う．ちなみに，以前も似たような事例で CloudWatch Events + Lambda + CircleCI + Apex を使ったアーキテクチャを紹介したが，これはあくまで開発ツールの位置付けなので，複数環境の考慮が必要なく，単純に apex deploy を実行するだけの非常にシンプルな構成になっていた点が異なる． kakakakakku.hatenablog.com kakakakakku.hatenablog.com エイリアスは採用しなかった 「実践 AWS Lambda」にも書いてある通り，Lambda にはエイリアスという機能があり，特定のバージョンに p
RDS for MySQLのスロークエリーログをAWS LambdaでElasticsearchに取り込む | DevelopersIO
はじめに 藤本です。 Elasticseachに取り込むネタが続いています。 前回のELBのアクセスログをAWS LambdaでElasticsearchに取り込むに続いて、今回はRDS for MySQLのスロークエリログをElasticsearchに取り込む実装をご紹介します。 概要 MySQL Serverはスロークエリーログにより指定した秒数を超えるクエリを記録することができます。スロークエリログはパフォーマンス劣化の解析、クエリの適切性、DBのマシンパワーの適切性のチェックに役立ちます。RDS for MySQLも例外ではありません。パラメータグループを設定することにより、スロークエリログを有効にすることができます。それに加えてRDS for MySQLの場合、AWSのAPIによりデータベースに接続せずともスロークエリログを取得することができます。 スロークエリログフォーマット
Lambda クォータ - AWS Lambda
新規の AWS アカウント では、同時実行性とメモリクォータが低くなっています。これらのクォータは、使用状況に応じて AWS が自動的に引き上げます。 コンピューティングとストレージ Lambda では、関数の実行と保存に使用できるコンピューティングおよびストレージリソースの量に対してクォータを設定します。同時実行とストレージのクォータは、AWS リージョン ごとに適用されます。Elastic Network Interface (ENI) クォータは、リージョンにかかわらず、仮想プライベートクラウド (VPC) ごとに適用されます。次のクォータは、デフォルト値から引き上げることができます。詳細については、「Service Quotas ユーザーガイド」の「クォータ引き上げのリクエスト」を参照してください。
AWS LambdaでVulsを使おうと試みた話 - 本日も乙
[toc] 本記事はVuls Advent Calendar 2016 18日目の投稿記事です。 概要 本記事は、脆弱性検知ツールVulsをサーバレスで実行しようと試みた内容です。 結果としては、AWS Lambda(以下、Lambda)で実行するには様々な制約があって難しいことがわかりましたが、他の方がさらに発展させてくれると信じてここに公開します。 構成 以下のような構成を考えていました。 Amazon CloudWatch Events ･･･ スケジューラ(いつ実行するかを決める) Lambda ･･･ 脆弱性情報取得 & スキャン実行 S3 ･･･ 脆弱性情報(SQLite)やスキャン結果を保存 VulsはGo言語で書かれていますが、LambdaはNode.js、Java、C# および Pythonでしか動かないため、Vulsをビルドしてバイナリ化することで、Lambda上で実行
Lambdaの容量を監視しよう - @ijin
2016/1/14現在、AWS Lambdaにはなんとリージョン毎！にアップロードできるパッケージの合計サイズがたったの1.5GBという悲しい制限があります。特にlibraryを同包したり、versioningを使ったりしてCIをガンガン回してると、結構すぐこの上限に達してしまいがちです。そこで、Lambdaの総容量はAWSコンソール上には表示されるものの、トラッキングし辛いので監視する仕組みを作ってみました。 仕組み LambdaのScheduled Eventsを使って、ListFunctionsとListVersionsByFunction APIを叩いて、個別functionのCodeSizeをサマって、PutMetricDataでCloudWatchに投げて、Alarm設定してるだけ。 (*) 2016/1/26 追記：@marcy_teruiさんからのご指摘でVersionsの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Application Search - AWS Serverless Application Repository
Deploying EFF's Certbot in AWS Lambda
Serverlessフレームワークを使って「さくらのクラウド」上のインスタンスをSlackから操作 - タロスカイ株式会社
Ridge - A framework like GAE/Go on AWS
