AWSの日々の利用料をLambda FunctionでSlackに通知する
この記事は株式会社リンケージ Advent Calendar 2023 23日目です。 こんにちは、 @r_takaishi です。リンケージで副業SREとして働いています。今回は少し前にやったことを紹介します。 WebエンジニアであればAWSなどのクラウドサービスについて日々の利用料金をウォッチしていると思いますが、毎日コストエクスプローラを開くのは少し面倒です。また、QuickSightやRedash、Metabaseを使うほどでもなく、どうやるかな〜と思うことはあるのではないでしょうか。そういうケースに対応するため、副業先のリンケージで https://github.com/takaishi/awscost という簡単なツールを作りました。 awscostはCLI上もしくはlambda functionで実行することを想定したツールです。awscostを使うことで、いくつかの観点でA
AWS Lambda のアクセス許可を紐解く - KAYAC engineers' blog
SREチームの橋本です。SRE連載の11月号になります。 AWSの多くのリソースはIAMでアクセスを一元管理されていますが、Lambdaではユーザーが実行したり他のAWSサービスから実行されたりする都合上、様々なポリシーが絡んでいます。 特に「Lambdaを呼び出す許可」についてはID（アイデンティティ）ベースのポリシーとリソースベースのポリシーで内容が被るため、どちらで設定するか混乱しているケースも見られます。 本記事ではこうしたポリシー事情をterraformの例と共に整理し、権限設定のベストプラクティスも検討します。 そもそもIAMのポリシーについて ドキュメントによればAWSのポリシーは実に6種類ものタイプがありますが、「使用頻度の高いものから」とあるように最初のIDベースが非常に多くのサービスで共通して使われており、次いで2番目のリソースベースが一部サービスで必要になるでしょう。
AWS Lambdaの高速なコンテナロードの仕組み | CyberAgent Developers Blog
CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい！🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand
Understanding AWS Lambda Proactive Initialization
AWS Lambda warms up your functions, such that 50%-85% of Lambda Sandbox initializations don't increase latency for users. In this article we'll define Proactive Initialization, observe its frequency, and help you identify invocations where your cold starts weren't really that cold. July 13, 2023 This post is both longer and more popular than I anticipated, so I’ve decided to add a quick summary: T
Go実装のAWS Lambda関数をCLIで動かせるライブラリを書いた - 酒日記 はてな支店
最初に3行でまとめ GoでAWS Lambdaのハンドラを実装した場合に、手元から同じ処理を実行したり開発中の動作確認のため、CLIコマンドとしても実行できると便利です そのための、とてもシンプルなwrapperライブラリを書きました lamblocal といいます 環境変数を読み込めるCLI flag parserと組み合わせるといいかんじです github.com Lambdaを実装する言語 最近、自分はAWS Lambdaの関数をGoで書くことがほとんどです。 個別のランタイムがある言語で書くとランタイムのバージョンアップやEoL対応が必要になって面倒だったりしますが、Goで書いてシングルバイナリをbootstrapという名前でzipに含めてカスタムランタイム(provided.al2) で動かすとそういう煩わしさがありません。ARM対応もビルド時に環境変数を指定するだけなので極めて
AWS Lambda がレスポンスペイロードストリーミングを導入
AWS Lambda 関数では、6 MB を超えるペイロードを含むレスポンスペイロードをクライアントに段階的にストリーミングできるようになりました。これにより、ウェブアプリケーションやモバイルアプリケーションのパフォーマンスを向上させることができます。AWS Lambda はプロビジョニングやインフラストラクチャ管理を行うことなく、コードを実行できるサーバーレスのコンピューティングサービスです。 これまで、従来のリクエスト/レスポンス呼び出しモデルを使用する Lambda ベースのアプリケーションでは、レスポンスを完全に生成してバッファリングしてからクライアントに返す必要がありました。そのため、最初のバイトまでの時間が遅れる可能性がありました。レスポンスストリーミングを使用すると、関数は準備が整った時点で部分的な応答をクライアントに送り返すことができるため、ウェブアプリケーションやモバイル
Introducing AWS Lambda runtime management controls | Amazon Web Services
AWS Compute Blog Introducing AWS Lambda runtime management controls This blog post is written by Jonathan Tuliani, Principal Product Manager. Today, AWS Lambda is announcing runtime management controls which provide more visibility and control over when Lambda applies runtime updates to your functions. Lambda is also changing how it rolls out automatic runtime updates to your functions. Together,
AWS X-Ray adds trace linking for event-driven applications built on Amazon SQS and AWS Lambda
AWS X-ray adds support for trace linking, enabling customers to visualize, and debug requests as they travel through event-driven applications built using Amazon Simple Queue Service (SQS) and AWS Lambda. Using trace linking, customers can now see the relationships between services and resources in their event-driven applications leveraging Amazon SQS and AWS Lambda, quickly identify performance b
Announcing AWS Parameters and Secrets Lambda Extension
Today, AWS launched the AWS Parameters and Secrets Lambda Extension, a convenient method for AWS Lambda users to retrieve parameters from AWS Systems Manager Parameter Store and secrets from AWS Secrets Manager. AWS Lambda customers can leverage this extension to improve their application performance as it decreases the latency and the cost of retrieving parameters and secrets. Previously, custome
Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices | Amazon Web Services
AWS News Blog Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices Organizations are adopting microservices architectures to build resilient and scalable applications using AWS Lambda. These applications are composed of multiple serverless functions that implement the business logic. Each function is mapped to API endpoints, methods, and resources using s
Let's dive into Filtering event sources for AWS Lambda functions - Qiita
Let's dive into Filtering event sources for AWS Lambda functionsAWSlambdasqsKinesis はじめに 今まで、 Kinesis Data Streams + AWS Lambda Amazon SQS+ AWS Lambdaのバックエンド、 Amazon SNS + Amazon SQS + AWS Lambda といったアーキテクチャをお客様のアプリケーションの中に組み込んできた中で、よくやっていたのが、Lambda Functions内で処理すべきデータか判断する、あるいは、判断を後に任せてとりあえず全部処理したり、不要なデータをスキップしたりしていました。これは、従量課金制のLambdaに対して、本来、処理対象ではないはずの不要なデータを投入し処理し、AWSサービス利用料、処理時間等に多少なりとも影響があった
Serverless Framework から lambroll + Terraform に移行しているお話
はじめまして、wind-up-bird です。スタディストの SRE Unit に入ってから約半年が経ちました。今回は社内で利用している Serverless Framework を lambroll に移行しているのでその話を少し書いてみようと思います。 これまでの開発の流れスタディストでは AWS Lambda および周辺リソース（AWS IAM や Amazon API Gateway など）の管理はこれまで Serverless Framework を利用していました。開発からリリースの流れは以下の通りです。 Lambda の開発serverless.yml を作成開発者がデプロイ担当者に連絡する担当者がローカルの環境から serverless deploy を手動実行Serverless Framework 導入当初は管理しているリソースが少なくこの運用でもあまり問題になりません
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
New for AWS Lambda – Container Image Support | Amazon Web Services
AWS News Blog New for AWS Lambda – Container Image Support February 9, 2021: Post updated with the current regional availability of container image support for AWS Lambda. With AWS Lambda, you upload your code and run it without thinking about servers. Many customers enjoy the way this works, but if you’ve invested in container tooling for your development workflows, it’s not easy to use the same
bash-lambda-layerのAmazon Linux 2対応をすることを決意した話 - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、gkrizek/bash-lambda-layer （以下、本家）を forkしたkayac/bash-lambda-layerに関して話します。 bash-lambda-layerに関しては、こちらを参照いただければわかりやすいと思います。 sfujiwara.hatenablog.com github.com 経緯 kayac/bash-lambda-layerは本家のawscliのversionでは使用できない機能を使用するために、一時避難的にforkしてawscliのversion upを行ったことから始まりました。 そして、今まで以下のような変更を加えてきました。 継続的にawscliをupdateするためにフローの整備 Step Functionsで利用するときにstack traceなどに改行が含まれるとエラーハンドリングできない
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば
ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ（隙あらばダイマしていく方針）。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝
lambroll & GitLab CI/CD Pipelineを使ってみた - Qiita
Lambdaのコードだけ入れ替えしたい サーバーレスが気になって夜も6時間しか眠れないサーバーレス気になる人間「ながの」です。 AWSでサーバーレスと言えばAWS Lambdaですよね。みなさん、AWS Lambda使ってますか？ Lambdaを使っているとコードだけ入れ替えたいなあってときありますよね？ 基本的にはAWSリソースはCloudFormationで管理していますが、ちょっとしたコードの変更なのにCloudFormation動かしたくないですね。CloudFormationを動かした事でリソースが予期せぬ変更をする可能性もないとは言えないですし。 でも都度都度CLIでやるのも面倒ですし、コードをコピペして書き換えるのはもっといやですよね。 じゃあどうすればいいんだー！？ ってことでlambrollを使ってみました。 lambrollとは？ GitHub - fujiwara/l
【アップデート】ストリームベースで起動するLambdaのエラーハンドリングがやりやすくなったよ！ | DevelopersIO
先日こんなアップデートがありました。 AWS Lambda Supports Failure-Handling Features for Kinesis and DynamoDB Event Sources KinesisやDynamoDBのストリーム型のイベントソースで起動するLambdaが失敗した際の挙動をカスタマイズできるようになったみたいです。 アナウンスはAWS re:Invent 2019より前でしたが、重要なアップデートなので試してみたいと思います。 なにが変わったのか？ LambdaのトリガーにKinesisを選択すると、選択項目が追加されていました。 「障害時の送信先」 レコードの有効期限切れもしくは再試行で失敗した際に、SNSかSQSにレコードを送信できるようになったようです。非同期LambdaのDLQと同じような機能ですね。 「再試行」 失敗した際のリトライ回数を設定
Introducing AWS Lambda Destinations | Amazon Web Services
AWS Compute Blog Introducing AWS Lambda Destinations Today we’re announcing AWS Lambda Destinations for asynchronous invocations. This is a feature that provides visibility into Lambda function invocations and routes the execution results to AWS services, simplifying event-driven applications and reducing code complexity. Asynchronous invocations When a function is invoked asynchronously, Lambda s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
