RDS Proxyを使ってLambda + RDSの構成を作る
いくつかのエンドポイントとDBがあれば完結するアプリケーションの場合、わざわざWebサーバーやらなんやらをを用意するのは面倒なので、サーバーレス構成で作れると楽ちんです。 最近まではLambdaからRDSに直接接続するような構成はある程度スケールした場合に同時接続数の問題が起こりえるためよろしくない、とのことでしたが、RDS Proxyによってその問題は解決したとのことです。 参考：なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する 仕事でちょうどLambda + RDSの構成で開発する機会があったので、その際に得た知識なんかをまとめておきます。 構成図 VPC、RDSあたりはアプリケーションのバックエンドとみなし、Terraformでリソースを定義していきます。 API Gateway、Lambdaはフロントエンドと捉えて、Serverless Frameworkで作りま
AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape
AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda
ServerlessなサービスのBlue/Greenデプロイメントの現実 | HiCustomer Lab - HiCustomer Developer's Blog
雑談 いやー春が近いですね。ウキウキのHiCustomerの小田です。最近の騒動で知ったんですが、Linuxカーネルのstableへのバグフィックスの一部はNeural networkを使って自動的に選定されてバックポートされているようです。正直まだGregの超絶な能力のみを使ってマニュアルでさばいているのかと思っていました。一般的にバグのバックポートはめちゃめちゃerror-proneな作業なため、その辺が進化してくれると今後いろんなソフトウェアが幸せになりそうです。詳細は以下にまとまっています。PatchNetの実装が見たかったんですが、ネットに情報がなさすぎて追い切れなかったです。ご存知の方は教えてください。 The case of the supersized shebang きっかけになった騒動です。偽陽性や偽陰性を２つともゼロにはできないので、意図しないパッチが入ってしまったり
スロークエリをSlackに通知してみた - Qiita
最近スロークエリをSlackに通知するようにしたので、そのやり方をまとめておきます。Slackに通知したいと思った背景などは以下の記事をご参照ください。 https://qiita.com/yuzoiwasaki/items/d8b56a98822e2b2bb6e7 上の記事で全く技術的なことを書けなかったので、この記事では主に技術の話をします。 スロークエリをSlackに通知する方法 こちらの記事を参考にさせていただきました。ありがとうございます。 https://enomotodev.hatenablog.com/entry/2018/12/12/224648 基本的には上記の記事の内容で事足りたのですが、運用していくうちにいくつか無視したいクエリが出てきました。アプリケーション側でキャッシュしているためそれほど気にする必要がないクエリや、管理画面のLIKE検索などすぐには解決が難しい
AWS Lambda With RDS Proxy Performance
Proxyなし Requests per second: 81.51 [#/sec] (mean) Requests per second: 120.02 [#/sec] (mean) Requests per second: 120.76 [#/sec] (mean) 大体120 [#/sec]ですね。 RDS Proxy版 RDS Proxy設定していきます。 Serverless FrameworkのDocsとGithub見たけどまだそれらしい設定はわかりませんでした。 全てがココに書いてあるので、ポチポチボタンを押していきます 最終的に、RDS Proxyのエンドポイントが作成されるので、 Lambda Laravelの繋ぎ先をRDS Proxyに変更します。 Requests per second: 31.88 [#/sec] (mean) Requests per second
【待望リリース！】もう Lambda×RDS は怖くない！LambdaでRDSプロキシを徹底的に検証してみた 〜全てがサーバレスになる〜 - Qiita
本日の reinvent でのリリースで衝撃のアップデートがたくさん出ましたね。EKS on Fargate や SageMaker の大幅アップデートも魅力的ですが Lambda の常識をくつがえす RDS のプロキシ機能が登場しました 🎉 ついに出ました！これでLambdaからRDS使うの怖くなくなります。Lambdaからも使えるコネクションプールマネージャ。これでLambdaとRDBMSの相性問題は先日のVPCの改善と合わせて解消されますー。SQL最高！！ / “Using Amazon RDS Proxy with AWS Lambda | AWS Compute Blog” https://t.co/YWgIu19GoH — Keisuke69@AWS re:Invent (@Keisuke69) December 4, 2019 Lambda から RDS に対するアクセスは
Bref – Simple and scalable PHP with serverless
Why Bref? Why serverless?We're in 2023. Applications should scale automatically. Hosting should be reliable and cost-efficient. Infrastructure should accelerate development, not consume our time. Bref deploys PHP applications to AWS Lambda and sets up the rest of the infrastructure using serverless services. Simple. Instead of setting up and maintaining servers, define your application in a simple
Applying the Twelve-Factor App Methodology to Serverless Applications | Amazon Web Services
I. Codebase One codebase tracked in revision control, many deploys A general software development best practice is to have all of your code in revision control. This is no different with serverless applications. For a single serverless application, your code should be stored in a single repository in which a single deployable artifact is generated and from which it is deployed. This single code ba
サーバーレス開発を始めて６ヶ月間なので振り返りをしてみる - YOMON8.NET
今の会社(BeeX Inc.)に来て、半年くらいサーバーレス開発をやってきました。 やっと人並みに（？）サーバーレス開発進められるようになったのと、開発が一息ついたので振り返りをしてみようと思います。 はじめに サーバーサイドについて 使用サービス LambdaはGolangで書きました Golangで辛かったこと Golangで良かったこと クライアントサイド サーバーレス開発が大変だったこと 関連コンポーネントが多い 障害の原因特定が難しい ネットワーク絡むとハマりやすい 統合テストが大変 裏の動きが見えない 情報収集の難易度が高い サーバーレス開発で良いと思ったこと サービスの環境全部をコードで表現できる 処理の特性によっては圧倒的に安い OSに入らない、入れない 運用が楽になる（はず） まとめ はじめに 初めてのサーバーレス開発を手がけたこの数カ月を振り返ってみると、エンジニアとし
AWS WAFのRate LimitがブロックしたIPアドレスをSlackに通知する
やりたいこと AWS WAFには、Rate Basedルールという機能があり、設定済みのしきい値を超える速度でリクエスト数を送信したIPアドレスをブラックリストに追加することができます。 課題としてはGoogleのクローラー等、アクセスをブロックしたくないリクエストもあるため、 WAFがブロックしたIPアドレスを把握しておく必要がありました。 調査したところ、WAFがブロックしたIPアドレスは、 get-rate-based-rule-managed-keys コマンドで取得可能です。 $ aws waf-regional get-rate-based-rule-managed-keys --rule-id <WAFのRuleid> { "ManagedKeys": [ "***.***.***.***/32" ] } しかし、当該コマンドを実行した時点でブロックされているIPアドレスは取
Lessons Learned — A Year Of Going “Fully Serverless” In Production | HackerNoon
Lessons Learned — A Year Of Going “Fully Serverless” In Production by@ketacode
AWS LambdaがNode.js8.10をサポートしたのでasync/awaitを試してみた - Qiita
const AWS = require("aws-sdk"); const DynamoDB = new AWS.DynamoDB.DocumentClient({ region: "ap-northeast-1" }); const co = require("co"); exports.handler = (event, context, callback) => { co(function *(){ // scanの実行 const scanItems= yield DynamoDB.scan({TableName: "demo-table"}).promise(); // queryの実行 const queryItems = yield DynamoDB.query({ TableName: "demo-table", KeyConditionExpression: "#ID =
AWS LambdaがNode.js 8.10に対応。非同期処理を簡潔に記述できるasync/awaitサポート、新インタプリタ＆コンパイラで省メモリかつ高速に
AWS LambdaがNode.js 8.10に対応。非同期処理を簡潔に記述できるasync/awaitサポート、新インタプリタ＆コンパイラで省メモリかつ高速に Node.js 8.10に対応したAWS Lambdaでは、非同期処理を簡潔に記述できる新しい構文のasync/awaitをサポートし、JavaScriptエンジンのV8に搭載された「Ignition」インタプリタと「Turbofan」JITコンパイラの組み合わせで省メモリかつ高速な実行を実現した。 AWS Lambdaは、サーバの起動や終了、負荷に応じてサーバ数を増減させるといったサーバの管理や運用をクラウドが自動的に行うなど、サーバのことを意識せずにプログラマがアプリケーションを実行できる、いわゆる「サーバレスコンピューティング」や「サーバレスアーキテクチャ」と呼ばれるアプリケーション実行環境を実現するサービスです。 AWS
AWS Lambda（Python） の開発環境・テスト・デプロイ・CI 考察 | DevelopersIO
作るもの ヒーローを管理する Lambda Function を書きます。ヒーロー情報は DynamoDB の ヒーローテーブルに格納するものとします。リポジトリは以下。 * Python Lambda SAM + SAM Local Project コーディング作業 すべてはコードを書くところから始めます。いきなりプロジェクトルートにファイルを置いて書き始めるのも良いですが、後々テストやデプロイも行うことになるので少し整理してみます。以下のようにしました。 . ├── buildspec.yml ├── deploy.sh ├── docker-compose.yml ├── environments │ ├── common.sh │ └── sam-local.json ├── integration_test.sh ├── requirements.txt ├── src
LambdaとSQSによる非同期分散処理 | DevelopersIO
はじめに AWS Lambdaで処理時間が掛かることが想定される場合、どのような対応策があるでしょうか？Lambdaを諦める？(これも１つの選択肢だと思います)、一回のデータ処理量を減らして処理時間を短くする、など色々な方法が考えつくと思います。 今回は１つの対応策として、処理時間が掛かる処理を複数に分割して別Lambda関数として動かす事を考えてみました。処理を分割してQueueに登録し、Queue毎に別Lambda関数を起動するサンプルを作成してみたので、それを中心に書きたいと思います。尚、実装言語はPythonとなります。 処理概要 今回の処理概要を図にすると以下のようになります。 Pythonにより実装したLambda関数、SQS、DynamoDBを組み合わせました。一番左の「main.py」がタスクをQueueに分割してSQSに登録します。定期的に動いている「consumer.p
【公開】AWS Serverless Application Repositoryにアプリケーションを公開してみた | DevelopersIO
どうも！大阪オフィスの西村祐二です。 AWS Serverless Application RepositoryがGAとなりました！下記が速報記事になります。 【速報】AWS Serverless Application Repositoryが一般利用可能（GA）になりました！ 今回はさっそくアプリケーションを公開してみたいと思います。 基本的にAWS Serverless Application Repositoryのドキュメントの手順に従って進めていきます。 公開するために必要なもの サーバーレスアプリケーションを公開するために必要なものは下記になります。 有効なAWSアカウント 使用されるAWSリソースを定義する有効なAWS Serverless Application Model（AWS SAM）テンプレート 作成したアプリケーション用のパッケージ アプリケーションを公開する場合、
“Web Componentsだけ” で新サービスを実装して見えたこと - Qiita
Double O というサービスを作りました。 フロントエンドはピュアな Web Components を採用していて、バックエンドは Lambda と DynamoDB のみで構成しました。 (厳密には CloudFront とか API Gateway とかもあるけどそこは省いていいよね？) REST API 以外の Util 系の Lambda 関数はすべて AWS Cloud9 で管理することで環境構築も不要な Lambda ができて楽でした。 TL;DR サーバーレスについてはごく普通のことしかしていないので、詳しくは触れないでおきます。 ピュアな Web Components だけでサービスを成立させることができた。 HTMLElement クラスを継承するだけなのでメジャーライブラリは不要になった。 Web Components の Custom Elements は標準仕様
サーバーレスアーキテクチャで画像処理！ Serverless FrameworkとWandで簡単構築！ - サーバーワークスエンジニアブログ
こんにちは。サーバーワークス こけし部 部長でCS課の坂本（@t_sakam）です。 前回に続いて、「Serverless Framework」の話題です。 前回は、Serverless FrameworkのAPI GatewayやDynamoDBをからめた使い方をみてみました。今回はS3をからめてサーバーレスで画像処理をおこなう方法をみてみたいと思います。 今回Serverless Frameworkを使って構築するのは、AWSのイベントやセミナーで「Lambdaのもっとも一般的なユースケース」としてよく紹介されている「画像処理をサーバーレスでおこなう」パターンです。 【画像処理をサーバーレスでおこなうユースケースを紹介している記事】 【AWS Summit Tokyo 2016】サーバーレスで構築する、マイクロサービスの未来形 画像処理は、Pythonのライブラリの「Wand」を使って
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Running your Laravel project on AWS Lambda
GitHub - serverless/components: The Serverless Framework's new infrastructure provisioning technology — Build, compose, & deploy serverless apps in seconds...
