API Gateway の Lambda プロキシ統合のCORS対応をまとめてみる | DevelopersIO
内容としては、以下 2つをチェックします。 クロスオリジン HTTP リクエストかどうか シンプルなリクエストかシンプルではないリクエストかどうか API Gateway REST API リソースの CORS を有効にする の再掲です。 1. クロスオリジン HTTP リクエストかどうか 以下クロスオリジンHTTPリクエストに当てはまるケースです。 別ドメイン (例: example.com から amazondomains.com へ) 別サブドメイン (例: example.com から petstore.example.com へ) 別ポート (例: example.com から example.com:10777 へ) 別プロトコル (例: https://example.com から http://example.com へ) 2. シンプルなリクエストかシンプルではないリクエ
AWS Lambda＋Seleniumでスクレイピングする話 - Qiita
導入 業務の一環で実行しているスクレイピング。 python + seleniumでツールを作って定時に社内サーバーから自動実行していた。 ある日、設定していた社内サーバーが計画停止。 とりあえずは自分の環境で手動実行してデータは取得したけれど・・・ 「技術として汎用性もあるし、これを機にAWS Lambdaへ移動や！」 ということでやってみたのが今回のお話。 前提 実行環境：AWS Lambda 設定環境１：Windows10 設定環境２：debian10（権限設定用リモート環境・WSL2とかでもいけるかも） 言語：python3.7 追加パッケージ：selenium コード AWS Lambdaに配置したソースコードがこちら。 サンプルとしてYahooのプロ野球の順位表から、セ・リーグの順位を抜き出してみた。 from selenium import webdriver from se
Lambda x MySQLでデータを更新してもクエリ結果が変わらない（キャッシュされているような振る舞いをする） - Qiita
問題 表題の通りだが、Lambda x MySQL(RDS)でレコードを変更しても、Lambda上でDBに対するSELECT結果が変わらないという問題が起きた。その場しのぎとしてLambdaのコードを変更するとデータ変更が反映されるため、その方法で運用をしている環境だった（または、少し時間を空けて再クエリーしていた）。問題の解消法がわかったので載せておく。ただし原因はよくわかっていない。 解消方法 StackOverflowで同様の現象で困っている人がいて、回答の通り、Connection確立時に autocommit=True とすることで問題を解消できた。または各SELECT後にcommitしても解消できるかと思う。 stackoverflow: why is an aws lambda python call to a mysql rds being cached 以下はpymysq
Pillow（Pythonライブラリ）を使ってS3に格納された画像を圧縮してみる | DevelopersIO
はじめに こんにちは。大阪オフィスの林です。 Pillowという画像処理のPythonライブラリを使ってS3に格納された画像データを圧縮する処理を試す機会がありましたので内容をまとめておきたいと思います。 やってみた ライブラリの準備 基本的な進め方としては下記のドキュメントを参考にしていきます。下記ドキュメントの例ではpandasをインストールする方法ですが、流れや手順などはほぼ流用してPillowの準備を進めてみたいと思います。 手順に従い、ライブラリインストールに使うpipコマンドのバージョンが19.3.0以降であることを確認します。 $ pip --version pip 22.2.2 from /home/hayashi/.local/lib/python3.9/site-packages/pip (python 3.9) 19.3.0より古いバージョンの場合、次のコマンドを実行
[AWS Lambda] Pythonで外部モジュール(Pillow)を使う - Qiita
AWS Lambdaで外部モジュールを追加する方法を情報まとめた AWS Lambdaだと使えないライブラリ(モジュール)がありますね。追加が必要な場面がありますので外部モジュールの追加についてまとめます。 今回LambdaでS3にアップされた画像いじりたいのででPillow使おうとしました。 モジュールをzipでアップすればいいのは知っていたのでpip installでデータ取得できたらzipにしてOKでしょ！ と思ってテストを実行したら [ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'PIL' とエラー。pip installだと無理なのこれ...どうするのこれ...みたいになったlambda初心者の私。 調べてみると方法が何個かあって、落とし穴
![[AWS Lambda] Pythonで外部モジュール(Pillow)を使う - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b2ccfac910220e9d2dc8862f7b73f90e7d8bee81/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTIwTGFtYmRhJTVEJTIwUHl0aG9uJUUzJTgxJUE3JUU1JUE0JTk2JUU5JTgzJUE4JUUzJTgzJUEyJUUzJTgyJUI4JUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJUFCJTI4UGlsbG93JTI5JUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJTg2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02ZTdmMTQxMTVkNTNiNTY0MDgwNGFlZDQ2YWRiY2UwNQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBCYXNoaTUwJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yMjhmODA4OWZmMDk1YmVlNjNlMjM1Y2JmYTU1ZWZjMQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D602c6f117c9393c0d3a10f7f934f9de7)
Lambdaから別アカウントのリソースにアクセスしてみる | DevelopersIO
こんにちは、Lambdaから別アカウントのリソースにアクセスする際にはAssumeRoleを行い一時的な権限を取得する必要があります。こちらの実装時にハマりましたので実装した手順をまとめたいと思います。 実装前にこちらのサイトを参考にEC2から他リソースのS3にアクセスする内容を試しました。とても分かりやすかったのでおすすめです。 別アカウントのS3バケットを利用する手順 手順 実装する内容は、図のようにアカウントAのLambdaからアカウントBのリソース(DynamoDBとS3)の読み込みを行うことです。 実装時にはこちらのリンクを参考に設定事項を確認しました。 別の AWS アカウントからロールを引き受けるように Lambda 関数を設定するにはどうすれば良いですか? アカウントBの設定 まずはアカウントBに必要な設定を行います。ここでは以下の3つを作成します。 アカウントAでリソース
【AWS】Lambdaでpipしたいと思ったときにすべきこと - Qiita
はじめに Lambda関数を Python で書いていると、Lambda関数内でサードパーティのライブラリを使いたくなるときがあります。しかし、Lambda では pip を使ってライブラリをインストールすることはできません。今回はそんな状況で役に立つ方法を紹介します。 具体的には Lambda に用意されているファイルアップロード機能を使います。つまりファイルをアップロードするときにサードパーティのライブラリをアップロードすることで、Lambda関数内からライブラリを使えるようにします。 今回は Python の HTTPライブラリである requestsを使ってみようと思います。 関連記事 Lambda関数の基本的な作成方法は以下の記事を参考にしてください。 AWSのAPI GatewayとLambdaを使ってRest APIを書いてみた 手順 ローカルで作業用ディレクトリを作成する
ランニングコストほぼゼロから始めるスケーラブルな本番環境
はじめに 私は個人開発で一山当てたいと常々思っていて、そのためにいくつかヒットしそうなサービスのアイデアがあります。エンジニアであればアイデアを具現化することに躊躇してはいけないと思うわけですが、一度リリースしてしまうとランニングコストが発生するわけで、仮に全く人気がでなかったとしたらランニングコスト分の赤字を垂れ流すことになります。 一方、個人開発者というのはおそらく誰しも夢見がちなので、リリース後バズったりしてユーザーが大量に押し寄せてきてしまってサーバーダウンする可能性も考えてしまいます。 その結果、「全く誰も来なくてランニングコストが赤字になったらどうしよう」という不安と「めちゃくちゃバズってしまってサーバーダウンしてチャンスを逃したらどうしよう」という不安が、心の中でせめぎ合うことになります。 そこで、今回はその2つの不安を一気に解消する「使われなければランニングコストが限りなく
AWSのVPC Lambdaからエンドポイント経由でSQSにアクセスする際の注意 - Qiita
結論 AWSでLambdaをVPCに配置して、エンドポイント経由でboto3 SQSを使用する際にはendpoint_urlオプションが必要。 import boto3 sqs = boto3.client("sqs", endpoint_url="https://sqs.ap-northeast-1.amazonaws.com") sqs.send_message(...) このオプションを付けないと、接続できなくてタイムアウトします。 詳細 AWSでLambaをVPCに配置してプライベート接続でSQSを使用する際にめちゃはまったので注意点をメモします。 詳細は以下のサイトが詳しいのでそちらを参照して下さい。私が試した時はLambda上でboto3を使用した際にのみ現象が発生しました。 私の発生条件ではLambdaのboto3はバージョン1.14.48でした。また、EC2を立てて試したバ
DynamodbのLimitが思った動きでなくて嵌った話(Dynamodbの基本的なクエリ等) - [Dd]enzow(ill)? with DB and Python
Dynamodbを使うようになったのですが、RDBMSに比べるとDynamodbは雰囲気でやっているところが多く、表題のLimitオプションの挙動で嵌ったのでboto3での例とあわせてまとめておきます。 対象テーブル order_table = { 'TableName': 'order_table', 'KeySchema': [ { 'AttributeName': 'user_id', 'KeyType': 'HASH' }, { 'AttributeName': 'ordered_at', 'KeyType': 'RANGE' } ], 'AttributeDefinitions': [ { 'AttributeName': 'user_id', 'AttributeType': 'N' }, { 'AttributeName': 'ordered_at', 'AttributeT
![DynamodbのLimitが思った動きでなくて嵌った話(Dynamodbの基本的なクエリ等) - [Dd]enzow(ill)? with DB and Python](https://cdn-ak-scissors.b.st-hatena.com/image/square/5766dbc701c0d323399142ce57586132da1ab902/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8599973812288943377%2F8599973812343689703%2F1517717059)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Lambda python「デプロイパッケージが大きすぎてインラインコード編集を有効にできません」の回避方法 - Qiita