全文検索SaaSのAlgoliaを使って、DynamoDBのデータを柔軟に検索する | DevelopersIO
はじめに この記事は Serverless Advent Calendar 2020 12日目の記事です。 CX事業本部の佐藤です。AWSのサーバーレスでアプリケーションを構築する際には、DynamoDBをデータベースとして選択するのはよくある構成かと思います。DynamoDBはNoSQLデータベースの一種なので、RDBMSのようなSQLを使った柔軟な検索などはできません。そのため、DynamoDBの検索機能だけでは要件を満たせない場合は、RDBを使う、DynamoDBとRDBを併用して使う、Elasticsearchなどの全文検索サービスを使うなどの方法があります。そこで今回は、DynamoDBを使ったサーバーレスWeb APIを題材に、全文検索SaaS のAlgoliaを使って、DynamoDBのデータを柔軟に検索できるようにしてみたいと思います。 この記事で作る構成 この記事では、以
Firecracker – サーバーレスコンピューティングのための軽量な仮想化機能 | Amazon Web Services
Amazon Web Services ブログ Firecracker – サーバーレスコンピューティングのための軽量な仮想化機能 私の好きなAmazonリーダーシッププリンシプルの1つはCustomer Obsessionです。 私たちがAWS Lambdaをローンチしたとき、私たちは開発者にセキュアなサーバーレス体験を提供し、インフラストラクチャの管理を避けることに重点を置いていました。 目的のレベルの分離を達成するために、我々は各顧客に専用のEC2インスタンスを使用しました。 このアプローチにより、私たちはセキュリティ目標を達成することができましたが、私たちがLambdaを裏で管理する方法に関していくつかのトレードオフを余儀なくされました。 また、新しいAWSサービスの場合と同様に、顧客がLambdaをどのように使用するのか、あるいはサーバーレスモデル全体をどのように考えているのかも
Mackerelの公式プラグインをAWS Lambdaで実行してAmazon RDS for MySQL を監視する - kmiya_bbmのブログ
Mackerelの公式プラグイン集や公式チェックプラグイン集は、各種ミドルウェアの詳細監視ができたり、AWS Integrationを使わなくてもRDSやELBなどのマネージドサービスのメトリック情報を取得することができたりと、大変便利なものです。 github.com このプラグインはAWSのEC2など mackerel-agentがインストールできる環境からは簡単に使うことができるのですが、例えばAWS上に Web-アプリケーション-DB の3層アーキテクチャを構成している場合に、EC2がAutoScaling対象のWebサーバやアプリケーションサーバしかないことがあり、DB(RDS)を監視するのにこのプラグインをどのEC2から使うか、少々悩ましいことがあります。 AutoScaling対象のEC2全てからプラグインを実行する場合 チェックプラグインの場合、RDSに異常が発生するとAu
AWS LambdaがSQSをイベントソースとしてサポートしました！ | DevelopersIO
大栗です。 先程AWS LambdaでSQSをイベントソースとしてサポートすることが発表されました。このエントリーではSQSからのLambdaの起動方法についてレポートします。 Announcement: AWS Lambda supports Amazon SQS as an event source Lambdaのイベントソース AWS Lambdaは以下のサービスのイベントを元に起動することができます。今回SQSのメッセージをトリガーとしてLambdaを起動することが可能になります。 API Gateway AWS IoT Alexa Skills Kit Alexa Smart Home CloudWatch Events CloudWatch Logs CodeCommit Cognito Sync Trigger DynamoDB Kinesis S3 SNS SQS <- N
"API Gateway → Lambda → SQS"でJSONデータをエンキューする | iret.media
下記でAPI GatewayとLambdaを連携させてみました。 "API Gateway"のバックエンドを"Lambda"にしてJSONデータをエコーさせる 今回はLambdaから更に別のAWSコンポーネントと連動させてみたいと思います。 (つまりLambdaのPythonのBotoの練習です) 具体的には下記のようにJSONデータをAPI GatewayにPOSTして、 バックエンドのLambdaが、そのJSONデータをSQSにエンキューさせてみます。 基本的には上記リンクのLambdaファンクションの部分を POSTされたJSONデータをSQSにエンキューするように修正した形となります。 Lambdaのコード 下記のように実装しました。(今回はロギングまわりも改善しています) import json import boto3 import logging logger = loggi
2019年VPC Lambdaが高速に！！ AWS Lambdaの内部構造に迫るセッション 「SRV409 A Serverless Journey: AWS Lambda Under the Hood」 #reinvent ｜ DevelopersIO
はじめに サーバーレス開発部＠大阪の岩田です。 re:Invent2018が終了して約3週間、今では各セッションの動画やスライドが多数公開されており、気軽に情報収集ができるようになりました。 私もYoutubeを活用して、現地で参加できなかったセッションの動画を少しづつ視聴していたのですが、 「SRV409 A Serverless Journey: AWS Lambda Under the Hood」の内容が非常に興味深いものでした。 サーバーレス開発部が普段ゴリゴリに触っているAWS Lambda(以後は単にLambdaと表記します)の内部構造に言及しており、2019年にVPC Lambdaが高速化されるという情報も知る事ができました。 このセッションの内容を多くの人に知ってもらいたいので、Lambdaの内部構造という観点からセッションの内容をまとめてみます。 ※直訳というよりも自分な
AWS Lambdaで動的サイトのwebスクレイピングをしてtwitterに投稿するbotを作った - Qiita
はじめに webページからスクレイピングをしたデータを簡単に加工して自動投稿するtwitterのbotを作りました。 完全に初見のLambdaとPythonでできました。 以下のサイトを組み合わせただけのほぼパクリ記事です。作業ログです。 【Python】Chrome headlessで動的サイトのスクレイピング on AWS Lambda AWS Lambda から Twitter に投稿する 無駄に面倒なAPI Keyとアクセストークンの入手の方法についてですが、以下の記事を参考にしてください。 登録ページ:https://apps.twitter.com/ https://qiita.com/tdkn/items/521686c240b0c5bc6207 https://syncer.jp/Web/API/Twitter/REST_API/ 追記(2019/12/23) Python
コスト効率の悪いLambdaアプリケーションの性質に関する考察 - ゆううきブログ
概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。 しかし、以下の性質を満たすアプリケーションでは、EC2インスタンス上に構築したケースと比較して、Lambda上に構築したほうがコスト効率が悪くなるのではないかと考察してみた。 Lambda functionの実行時間のうち、ネットワークI/O時間が支配的である Lambda functionの実行終了を同期的に待たなければならない 複数のレコードをLambda functionの引数に渡すことができない Lambdaの基本コスト構造 まず、Lambdaのコスト構造を把握する。 Lambdaの料金表[1]によると、「functionに対する合計リクエスト数」と「functionの合計実行時間」に応じて料金が発生する。 後
AWS と LINE を連携させてbotを作ってみよう・準備編 | AWSやシステム・アプリ開発の最新情報をお届け｜クロスパワーブログ
概要 LINEでメッセージを送った後、自動的に返答してもらうことができます。 例えば、LINEで「今日の天気は？」と発言すると 「晴れです。」と自動的に返答が来るような機能を作ることができます。 この返答する人物をbotと呼んでいます。 使用する物は次の通りです。 ・LINE(Android, iPhone, Windows, Mac どれでもOK) ・(AWS) Amazon Api Gateway ・(AWS) Amazon Lambda ・(AWS) IAM ・Node.js 事前に準備する物は次の通りです。 ・LINEアカウント ・AWSのアカウント 完成時のデータフローは次の通りです。 1.LINEでbotに対して発言した言葉はユーザー情報と共に、LINEサーバーへ届きます。 2.LINEサーバーは発言内容やユーザー情報に"トークン"を付与し、 REST APIを提供しているサー
AWS Lambda（Python） の開発環境・テスト・デプロイ・CI 考察 | DevelopersIO
作るもの ヒーローを管理する Lambda Function を書きます。ヒーロー情報は DynamoDB の ヒーローテーブルに格納するものとします。リポジトリは以下。 * Python Lambda SAM + SAM Local Project コーディング作業 すべてはコードを書くところから始めます。いきなりプロジェクトルートにファイルを置いて書き始めるのも良いですが、後々テストやデプロイも行うことになるので少し整理してみます。以下のようにしました。 . ├── buildspec.yml ├── deploy.sh ├── docker-compose.yml ├── environments │ ├── common.sh │ └── sam-local.json ├── integration_test.sh ├── requirements.txt ├── src
AWS lambdaを利用してS3の画像アップロードをトリガーにサムネイル画像を自動生成する | 株式会社ビヨンド
トリガーの有効化のチェックは入れません。 後程記述する関数の動作確認が終わってから手動で有効にします。 入力が終わったら次へをクリックします。 この画面で実際に関数を記述していきます。 関数名を記入する項目がありますがこの部分はお好きな名前で大丈夫です。 設計図の選択画面で「s3-get-object」を選択したので S3からファイルを取得するためのコードが予め記述されています。 'use strict'; console.log('Loading function'); const aws = require('aws-sdk'); const s3 = new aws.S3({ apiVersion: '2006-03-01' }); exports.handler = (event, context, callback) => { //console.log('Received ev
CloudWatchとLambdaによるEC2の夜間停止 - Qiita
初めに AWSのアドベントカレンダーもっと盛り上がれ！もう時代遅れか！？ と念じております。 さてさて、前回はWEBアプリケーションの環境を構築しましたが 今回はEC2の夜間停止をCloudWatchとLambdaを利用して実装していきたいと思います。 夜間停止の流れはLambdaで起動用の関数と停止用の関数を作成し CloudWatchを利用して朝に起動用の関数を、夜に停止用の関数を実行することで実現させます。 第1部 「AWSを避けていたPGがALBとEC2を利用してWEBアプリケーション環境を構築してみた」 第2部 「LambdaとCloud WatchによるEC2の夜間停止」←今ここ 第3部 「ALBによるパスルーティング」 前置き LambdaのScheduleイベントでEC2を自動起動＆自動停止してみた#reinventを基本的に参考にして構築をしております。 解釈や説明の誤り
クラウドネイティブアーキテクチャ勉強会 (2017/05/18 19:00〜)
イベント概要 クラウドでの開発が「当たり前」になってきた昨今、オンプレからの移行したのではなく、 「クラウドネイティブ」のアプリケーション開発が必須スキルになってきています。 そこで、今回はAWSのソリューションアーキテクト・西谷圭介氏をお招きして 「クラウドネイティブ」でのアプリケーション開発についてお話いただきます。 合わせて「あるべき未来を、Cloudでカタチにする集団」を目指し、 基本的に全ての開発をクラウド上で行なっているフレクトが、 実際にどのように「クラウドネイティブ」に取り組んでいるのか、ご紹介します。 こんな人におすすめ 「クラウドネイティブ」のアプリケーション開発に興味のある方 今後のエンジニアにどのようなスキルが求められ、どうスキルアップすれば良いか悩んでいる方 新しい技術やアーキテクトに興味がある方 タイムテーブル 時間 タイトル スピーカー
EC2のスナップショットを自動的にAWS Lambdaで作成する - Qiita
AWS Lambda? サーバレスでプログラムを実行できるようなもの 1 か月 1,000,000 リクエストは無料 今回のような１日１回動かす程度なら無料でずっと使えます 詳しくは → https://aws.amazon.com/jp/lambda/faqs/ やりたいこと Lambdaのスケジュールイベントを使って自動的にEBSのスナップショットを作成する 今回使用する言語はPython スナップショットの対象は、EC2インスタンスのタグに「Backup-Generation」が付いているものとする Backup-Generationの値には、0以上の数字を指定する スナップショットの保存件数は、Backup-Generationの値とする 0のときはスナップショットを作成しない スナップショットの保存件数を超えた場合は、作成日付の古いものから削除する 作成したスナップショットのDe
AWS Solutions Architect ブログ
こんにちは。ソリューションアーキテクトの布目です。本日はAWS Compute Blogに掲載されたSeamlessly Scale Predictions with AWS Lambda and MXNetをご紹介します。 Sunil Mallya, ソリューションアーキテクト AIソリューションを大規模に構築することは困難を伴います。このブログではAWS LambdaとMXNetを、スケーラブルな予測パイプラインの構築に活用する方法を見ていきます。 機械学習や深層学習を活用しようとする企業は、単なるモデルの学習よりもはるかに多くの投資をしています。そこには、次に示すステージを含む洗練されたパイプラインが存在します: データストレージ プリプロセッシング 特徴抽出 モデルの生成 モデルの分析 特徴エンジニアリング フィードバックの評価 パイプラインの各ステージでは次が要求されます: 変化
[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita
はじめに 最近サーバレスアーキテクチャに興味を持っています。以下2エントリーはGoogle Apps ScriptでJava Scriptを使った時の記事ですが、今回はAWS上のLambdaを使って、サーバーレスでPythonコードを実行させることをやっていきたいと思います。記事の内容は、Pythonほぼ初めまして&&AWSほぼ初めましての人が、LambdaとDynamoDBでいろいろできるようになるまでの記録を書いていきます。 また最初AWS分かんなさすぎて最初は絶望していたし、Lambdaはエラー出まくって初見殺しだし、Python興味はあるけど使ったこと少なめと、かなり初心者目線で記事を書いていきたいと思ってます。写真多め、初心者がわかる程度の内容を、ひとつずつ書いていく感じですので、PythonistとAWS上級者の方は新しいことはないかと思いますが、どうぞよろしくお願いします。
![[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b3782ac3cb9df726f9db751a95aace065be13f6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJTIwQVdTJTIwJTVEJTIwJUU1JTg4JTlEJUUzJTgyJTgxJUUzJTgxJUE2TGFtYmRhLVB5dGhvbiVFMyU4MSVBOER5bmFtb0RCJUUzJTgxJUFCJUU4JUE3JUE2JUUzJTgyJThCJUU0JUJBJUJBJUUzJTgxJUFCJUU1JThGJTgyJUU4JTgwJTgzJUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCJUUzJTgxJThCJUUzJTgyJTgyJUUzJTgxJUFBJUU4JUE5JUIxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz04ZWU0MGM2YTk1OWIyMTQ4ZTg0NDliYTM1MDI3N2UzZQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweWtoaXJhbyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzJmYjQxZjhhOGNjYjYxZjdhZDg2NjNjMDI1OTgzMTk%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D92d653200dfb69a256b6b26d7543b863)
Lambda + Apex 事例紹介 ~ 全ては AWS コスト削減のために ~ - kakakakakku blog
今日は社内の別プロダクトと合同勉強会があって，Lambda + Apex 便利だよ！という発表をしてきた． タイトルは「Lambda + Apex 事例紹介 ~ 全ては AWS コスト削減のために ~」で，発表内容としては，大きく3点にフォーカスした． CloudWatch Events + Lambda + CircleCI + Apex で Lambda をサーバレスに実行 & デプロイする話 Apex で Golang with Lambda を動かす仕組みとは AWS 便利ツールの紹介 メインは Lambda + Apex の話で，前に書いた記事をベースにした． kakakakakku.hatenablog.com 発表資料 speakerdeck.com Golang with Lambda Apex の珍しい点を挙げるとすると「Lambda で Golang を動かせる」ことだ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://codeday.me/jp/qa/20190420/660163.html
GitHub - alixaxel/chrome-aws-lambda: Chromium Binary for AWS Lambda
Lambda + Apex 事例紹介 ~ 全ては AWS コスト削減のために ~ / Case Study of Lambda and Apex
