【感想】『基礎から学ぶ サーバーレス開発』: AWS Serverless 2020 を知ろう - Rのつく財団入り口
基礎から学ぶ サーバーレス開発 タイトルに「AWS」が入っていませんが、AWSに限定してサーバーレス周りの開発の基礎を一通り解説した本。作者陣はCIerとしても有名なアイレット社の方々。JAWS-UG運営の方もいらっしゃいますね。そういえば2019年のAWS Summitに行った時にcloudpackのノベルティをもらった覚えがあります…… 基礎から学ぶ サーバーレス開発 CHAPTER01 サーバーレスとは CHAPTER02 サーバーレス開発でよく使うサービス CHAPTER03 サーバーレスアプリケーションの構築 CHAPTER04 サーバーレスの運用・監視 CHAPTER05 サーバーレス開発におけるセキュリティ CHAPTER06 サーバーレスの構築例 完全サーバーレスでのWebページ構築事案 APIバックエンドにRDSを用いた事例及び2019年のアップデートについて サーバーレ
[レポート]ニンテンドーアカウント リノベーションプロジェクト CUS-20 #AWSSummit | DevelopersIO
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 2023年4月20日〜21日に開催されているAWS Summit Tokyo 2023、皆さん参加してますか？ 今回はそんな4年ぶりに開催されている最高のオフラインイベント、AWS Summit Tokyo 2023のセッションレポートを書いてみました。 さて皆さん、好きなゲームハードは何ですか？ゲームボーイ？ゲームボーイアドバンス？ゲームキューブ？ セッション概要 ニンテンドーアカウント リノベーションプロジェクト ニンテンドーアカウントは 2015 年のリリース当初は Amazon EC2 を中心としたインフラ構成を採用していましたが、システム規模の拡大や時間の経過に伴い、徐々にシステムの継続性にリスクが生じるようになってきたため、リノベーション(システムの大規模な改修)を実施しました。 リノベーションで
![[レポート]ニンテンドーアカウント リノベーションプロジェクト CUS-20 #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92906dcb785a4c93120a3f47650fb23b9bcad275/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Fbnr_AWS_smt_tokyo2023_1200x630_SR.png)
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここで、「[AWS Startup ゼミ]よくある課題を一気に解説！御社の技術レベルがアップする 2021」をテーマに、松田氏と齋藤氏が登壇。続いて、「オンプレミスへの納品がしたい」「Amazon RDS/Auroraをスケールアップする運用を辞めたい」という2つの要望に対する解決方法を紹介します。前回はこちらから。 相談3：オンプレミスへの納品がしたい 齋藤祐一郎氏（以下、齋藤）：バトンを引き継ぎまして、齋藤からご案内いたします。3番目のテーマです。エンタープライズ企業からの要望で、オンプレミスのデータセンターへ納品をしたいという要望を時々もらいます。 特にBtoB
【週刊 Ask An Expert #08】AWS Glue の Python shell ジョブはいつ Python 3 に対応する？ AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #08】AWS Glue の Python shell ジョブはいつ Python 3 に対応する？ AWS Loft Tokyo で受けた質問まとめ #AWSLoft こんにちは、ソリューションアーキテクトの針原 (Twitter: @_hariby) です。 関東甲信地方は梅雨入りしましたが、いかがお過ごしでしょうか。タイトルにある AWS Glue の Python shell ジョブは、ちょうど先週 Python 3.6 に対応しました。そんなやり取りがある週刊 Ask An Expert 第8回目をお届けしたいと思います。「参考になった！」「いい内容だ！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアしてください。もちろん、改善点・ご要望もお待ちしております。 なお今週は AWS Sum
Docker Desktop 4.16登場 AWSをローカルエミュレーションする「LocalStack」など拡張機能が正式版に
WindowsやMac、Linuxなどのマシンに対して手軽にDockerコンテナ環境を導入し、GUIで統合管理できるDocker Desktopの最新版「Docker Desktop 4.16」が正式リリースされました。 拡張機能が登場、AWSをローカルエミュレーションするLocalStackなど Docker Desktop 4.16では、サードパーティーがDocker Desktopの機能拡張を行える「Docker Extension」が正式機能となりました。Docker Hubから、現時点で30種類を超えるさまざまなExtensionを読み込めるようになっています。 代表的な拡張機能の1つがAWSの主要なサービスをローカルでエミュレーションする機能を備えた「LocalStack」です。 LocalStackはAmazon EC2やAmazon S3、Amazon SQSといった基本的
この記事はBASE Advent Calendar 2019の9日目の記事です。 devblog.thebase.in はじめまして。BASE株式会社のtatsuと申します。 最近、業務にて guzzle を使う機会がありました。結論から述べますと guzzle のみで実現することは出来ず Amazon sqs を併用するという形で落ち着いたのですが、いくつか知見を得ることも出来たのでその事について書きたいと思います。 主に guzzle/Pool と guzzle/RetryMiddleware の話になります。 最初の壁：ResponseがどのRequestの結果なのか分からん まず並列処理を実装しました。実際のものとは違いますが流れは一緒。 $urls = [ 'https://example_base.in/1', 'https://example_base.in/2', ]; $
blank-go: Go で動く AWS Lambda 関数に入門しよう - kakakakakku blog
AWS Lambda 関数を Go ランタイムで動かす Hello World レベルの初学者コンテンツを探していて，ドキュメントにも載っている blank-go プロジェクトがお手軽に使えて良かったので紹介したいと思う❗️初学者に教えるときに使えるぞ〜 ＼( 'ω')／ github.com ちなみに AWS Lambda に入門するための blank-xxx は Go 以外にも Node.js / Python / Java など多くある❗️ docs.aws.amazon.com blank-go 紹介 blank-go では AWS CLI を使って Go ランタイムで動く AWS Lambda 関数をデプロイできる．実装としては，Amazon SQS のイベント情報（実際に Amazon SQS キューと連携するのではなく event.json を渡す）や AWS Lambda
【週刊 Ask An Expert #13】Amazon ElastiCache for Memcached に割り当てるメモリサイズを増やすには!? AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #13】Amazon ElastiCache for Memcached に割り当てるメモリサイズを増やすには!? AWS Loft Tokyo で受けた質問まとめ #AWSLoft こんにちは、スタートアップ ソリューションアーキテクトの針原 (Twitter: @_hariby) です。好きな AWS サービスは Amazon SageMaker, Amazon Rekognition, AWS DeepLens [amazon.co.jp] です。相変わらず雨が多く、7月にしては涼しい日が続いていますが皆さんいかがお過ごしでしょうか。 さて、今回の週刊 Ask An Expert 第13回目をお届けします。「参考になったわ！」「ええ内容や！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアして
re:Invent 2019に向けて 2019年11月後半アップデートのまとめ 第二弾 | Amazon Web Services
Amazon Web Services ブログ re:Invent 2019に向けて 2019年11月後半アップデートのまとめ 第二弾 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。先日公開した第一弾はいかがでしたでしょうか。今日は第二弾、11月20日から11月21日（米国時間基準）分をお届けします。 11月20日 AWS Lambdaが、イベントソースとしてAmazon SQS FIFOキューをサポートしました Amazon SQSは、分散ソフトウェアコンポーネントとマイクロサービス間で確実に通信するための完全に管理されたメッセージキューサービスであり、SQS標準キューとSQS FIFOキューの2つをサポートします。FIFOキューは、標準キューを改良および補完し、メッセージが送受信される正確な順序を保持することが可
[AWS Black Belt Online Seminar] 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説 資料及び QA 公開 先日 (2020/11/18) 開催しました AWS Black Belt Online Seminar「形で考えるサーバーレス設計 サーバーレスユースケースパターン解説 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. 業務系APIグループ企業間APIのユースケースですが、LambdaとRDSの組み合わせはコネクションの問題があり
![[AWS Black Belt Online Seminar] 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/0026d41b182fe1feddab9baa4dff4ba617f7cb12/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F11%2F26%2FThumbnail_Serverless_Pattern-1117x630.png)
AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリューションアー
[レポート]AWS Lambdaを用いたマイクロサービスの構築 #SVS343 #reinvent | DevelopersIO
re:Invent 2019 SVS343 Building microservices with AWS Lambdaのセッションレポートです。 はじめに SVS343-R1 - Building microservices with AWS Lambdaのセッションレポートです。 [REPEAT 1] Building microservices with AWS Lambda このセッションでは、AWSでの普遍的なマイクロサービスパターン、及びLambdaでのマイクロサービス作成について触れます。 AWSのmicroservice AWSのサービスは数多くのマイクロサービスの上に成り立っています。例えば、Amazon S3はロンチ時に8つの異なるマイクロサービスの上に成り立っていました。2018年時点では235以上の異なるマイクロサービスの上に成り立っています。 マイクロサービスの組
![[レポート]AWS Lambdaを用いたマイクロサービスの構築 #SVS343 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/019a203ef6304361021f33b557a8b524884de530/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Fsvs343_eyecatch_.png)
CyberZ が Amazon DynamoDB を使用してフォロータイムラインの表示に必要な Read-Light 方式を実現した方法 | Amazon Web Services
Amazon Web Services ブログ CyberZ が Amazon DynamoDB を使用してフォロータイムラインの表示に必要な Read-Light 方式を実現した方法 CyberZ について CyberZ はスマートフォンに特化した広告マーケティング会社として 2009 年に設立しました。スマートフォン広告における運用・効果検証、交通広告やウェブ CM の制作など、幅広いマーケティング事業を展開しています。日本に加えて、サンフランシスコ、韓国、台湾にも支社を構え、国内広告主の海外進出および海外広告主の日本展開支援も行っています。また、メディア事業として動画配信プラットフォーム「 OPENREC.tv 」、 e スポーツ事業として、国内最大級のeスポーツイベント「 RAGE 」を運営しています。 CyberZ 100 % 子会社としては、オンラインエンタテインメント事業、プ
AWS Lambda now supports partial batch response for SQS as an event source
AWS Lambda now supports partial batch response for SQS as an event source. With this feature, when messages on an SQS queue fail to process, Lambda marks a batch of records in a message queue as partially successful and allows reprocessing of only the failed records. By processing information at a record-level instead of batch-level, AWS Lambda has removed the need of repetitive data transfer, inc
Amazon Prime Day 2023を支えたAWS。GravitonプロセッサのAmazon EC2インスタンス投入で消費エネルギーが昨年比60％減に
Amazon Prime Day 2023を支えたAWS。GravitonプロセッサのAmazon EC2インスタンス投入で消費エネルギーが昨年比60％減に Amazon.comのバーゲンセールであるAmazon Prime Day 2023が7月11日から12日の2日間、米国や英国、日本などをはじめとするグローバルな規模で開催されました。 同社発表によると、初日の7月11日は同社の歴史上最大の売り上げを記録し、全世界で3億7500万点以上の商品が購入されたとのことです。 Amazon EBSはピーク時に15兆3500億件を処理 このPrime Dayの膨大なトラフィックとトランザクションを支えていたのがAmazon Web Servicesです。 同社が公開したブログ「Prime Day 2023 Powered by AWS – All the Numbers」によると、Amazon
AWS Well-Architected FrameworkのServerless Applications Lensを読んでみた | Developers.IO
AWS Well-Architected FrameworkのServerless Applications Lensを読んでみた Well-Architected Frameworkから、Serverless Applications Lensを読んでみたので、ざっとまとめてみました。 西澤です。Well-Architected Frameworkのうち、特別なアーキテクチャ専用にさらにその内容を掘り下げた資料が、Well-Architected Lensです。まず最初に、HPCとServerless用が公開され、先日IoT版も追加で作成されています。Serverless版の初版が発表されたのはもうかなり前なのですが、この中から今回は改めてServerless Applications Lensの内容について、簡単にまとめてみようと思います。原文は英語なので、雑に端折ってしまったところも
New – AWS Control Tower Account Factory for Terraform | Amazon Web Services
AWS News Blog New – AWS Control Tower Account Factory for Terraform December 7, 2023: Post updated to clarify AWS Regions availability. AWS Control Tower makes it easier to set up and manage a secure, multi-account AWS environment. AWS Control Tower uses AWS Organizations to create what is called a landing zone, bringing ongoing account management and governance based on our experience working wit
Operating Lambda: イベント駆動型アーキテクチャにおけるアンチパターン – Part 3 | Amazon Web Services
Amazon Web Services ブログ Operating Lambda: イベント駆動型アーキテクチャにおけるアンチパターン – Part 3 Operating Lambda シリーズでは、AWS Lambda ベースのアプリケーションを管理している開発者、アーキテクト、システム管理者向けの重要なトピックについて説明します。3 部構成のこのセクションでは、イベント駆動型アーキテクチャと、それが Lambdaベースのアプリケーションとどのように関連しているかについてディスカッションします。 Part 1 では、イベント駆動型パラダイムの利点と、スループット、スケーリング、拡張性をどのように改善できるかについてカバーしています。Part 2 では、開発者が Lambda ベースのアプリケーションを構築するメリットを享受するのに役立つ設計原則とベストプラクティスについて説明しています
こんにちは、もこ@札幌オフィスです。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2020』の 5日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとっても AWSサービスの再発見や2020 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。5日目のテーマはAmazon SQSです。 Amazon SQSとは？ Amazon SQSとは「Amazon Simple
Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察しの方もいらっしゃるとは思いますが、BQinは弊社藤原のRinから着想を得ています。 このツールは一言で表すと、データ投入先がRedshiftからBigQueryに変更されたRinです。 プロダクションに投入し1ヶ月以上になりますが、深刻な問題は発生せず動いております。 開発動機的な話 とあるプロジェクトでAWS S3にデータが投入されるから、GCP BigQueryへデータを転送したいという話がありました。 はじめのうちは、Cloud ComposerやBigQue
Amazon SNS, Amazon SQS, AWS Lambda のデッドレターキューによる耐久性のあるサーバーレスアプリケーション設計 | Amazon Web Services
Amazon Web Services ブログ Amazon SNS, Amazon SQS, AWS Lambda のデッドレターキューによる耐久性のあるサーバーレスアプリケーション設計 この投稿は Otavio Ferreira, Sr Manager, SNS の寄稿によるものです 郵便システムにおいて、デッドレターキューは配信不能な郵便物を取り扱うための施設です。pub/sub メッセージングモデルにおけるデッドレターキュー (DLQ: dead-letter-queue) は、トピックに対して発行されたメッセージがサブスクライブしているエンドポイントに配信できなかった場合に、そのメッセージを送ることができるキューを表します。 Amazon SNS による DLQ サポートによって、アプリケーションはメッセージ配信における各種故障モードに対する、さらなる耐久力と回復力を持つことが可
Amazon ECR とは コンテナのワークフローとレジストリの役割 コンテナをベースとしたワークフローを組んだ場合、「Build, Ship, Run」に基づき整理すると下記にようになります。 アプリケーションのソースコードとDockerfileというコンテナイメージを構築するためのファイルを用意し、イメージを作成していきます。 Dockerfileというのは、このファイル上にコマンドを記述することで、アプリケーションに必要なライブラリをインストールしたり、コンテナ上に環境変数を指定する役割を持ちます。 さて、ここで重要になってくるのはこのコンテナイメージを保存する先ですね。 そこで出てくるのが、レジストリと呼ばれるものです。 レジストリとは、コンテナイメージを保存するサービスで、Dockerレジストリを基点としてさまざまなプラットフォームにイメージを配布したり、利用者間でイメージを共有
SQSデッドレターキューにメッセージが入ったことを検知するメトリクスはどれが良いのか | DevelopersIO
デッドレターキュー（以下、DLQ）とは 正常に処理できないSQSメッセージを移動（退避）させるキューのことをいいます。この機能を使うと以下のようなメリットがあります。 問題のあるメッセージを分離して、問題の原因を調査できる。 元のキューのワーカーは、問題のあるメッセージを何度も受信してエラーし続けることを避けられる。そのため処理能力が向上する。 より詳細な情報は以下をご確認ください。 Amazon SQS デッドレターキュー | SQS 開発者ガイド DLQにメッセージが入ったら知りたい DLQにメッセージが入る=何かしらの問題が発生しているということなので、すぐに知りたいですよね。最低でも見逃すことは避けたいです。というわけで、CloudWatch AlarmでDLQにメッセージが入ったことを検知して、SNS経由でメール通知をします。 失敗例:NumberOfMessagesSentを使
FirestoreとLINE Messaging APIでチャットシステムを内製してる話 〜運用での学びを添えて〜 - Leverages Tech Blog
はじめに はじめまして！ Leverages（レバレジーズ）Advent Calendar 2019 18日目担当の吉澤です。 普段は、看護師向けの転職サイトや社内システムの開発・運用などをしています。 今回は、LINEでの顧客対応に用いられるチャットシステムの構築についてと実際運用してみてどうなの？みたいなところを書いていこうと思います。 何作ってるの？ ↓ざっくりこんな感じのやつを作っています。 開発に至った背景については以下の記事に書かれています。 markezine.jp LINEのMessaging APIとFirestoreを用いて、社内のSFA/CRMシステムから顧客とLINEのやり取りができるような機能です。 以下、内製のSFA/CRMシステムを社内システムと略します。 構成 全体的な構成としては以下の様になっています。 サーバーサイド まず、ユーザーがメッセージを送るとL
【レポート】クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン #AWSSummit | DevelopersIO
【レポート】クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン #AWSSummit こんにちは、佐伯です。 AWS Summit Tokyo 2019 Day3に行われたセッション「クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン」のレポートを書きましたのでご覧頂ければと思います。 セッション概要 オンプレミスのシステムを単純にクラウドへ移行するだけではクラウドの様々なメリットを享受することはできません。このセッションではクラウドネイティブなモダンアプリケーションの開発について、AWSの各種サービスをアプリケーションブロックとして利用するアプリケーション構成やAWSの各種サービスを利用したCI/CDの実現についてアーキテクトやデベロッパーの観点で解説します。 セッションレポート
Choosing between messaging services for serverless applications | Amazon Web Services
AWS Compute Blog Choosing between messaging services for serverless applications Most serverless application architectures use a combination of different AWS services, microservices, and AWS Lambda functions. Messaging services are important in allowing distributed applications to communicate with each other, and are fundamental to most production serverless workloads. Messaging services can impro
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQS での Lambda の使用 Amazon Simple Queue Service (Amazon SQS) キュー内のメッセージを処理するには、Lambda 関数を使用することができます。Lambda イベントソースマッピングは、標準のキューおよびファーストイン、ファーストアウト (FIFO) キューをサポートしています。Amazon SQS を使用すると、タスクをキューに送信して非同期的に処理することで、アプリケーションの 1 つのコンポーネントからタスクを任せることができます。 Lambda はキューをポーリングし、Lambda 関数を、キューメッセージを含むイベントと共に同期的に呼び出します。Lambda はメッセージをバッチで読み取り
西澤です。11月のre:Invent前のアップデートラッシュの復習をしていたところ、嬉しいアップデートを見つけたので試してみました。AWSで構成するアーキテクチャーの中でも非常に重要な役割を担っているメッセージングサービスであるAmazon SNSでデッドレターキュー（DLQ）がサポートされるようになっていました。 Amazon SNS にデッドレターキュー (DLQ) のサポートを追加 そもそもSNSとは？ Amazon SNSは、フルマネージドのPub/Subメッセージ配信サービスです。ユーザは何も考えずに配信したメッセージをPublishすれば、登録したエンドポイントに対してメッセージが配信される仕組みです。これまでも非常に信頼性の高いサービスだったのですが、今回のDLQサポートにより、エンドポイントへの配信が失敗した際のメッセージを保存しておくことで、エラーの検知とそのリカバリを容
AWS Step Functions+Amazon ECS(Fargate)をイベントトリガーで実行するときにハマるポイント - Qiita
AWS Step Functions+Amazon ECS(Fargate)をイベントトリガーで実行するときにハマるポイントAWSECSAmazonECSstepfunctions AWS Step FunctionsでAmazon S3のイベントをトリガーにしたときにいろいろとハマったのでメモ。 ハマる構成 下記を参考にAmazon S3(S3)イベントをトリガーにAWS Step Functions(Step Functions)のステートマシンが実行される構成を作ってみました。 Amazon S3 イベント発生時にステートマシンの実行を開始する - AWS Step Functions https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/tutorial-cloudwatch-events-s3.html 構成はこん
ご機嫌いかがでしょうか、豊崎です。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の1日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。1日目のテーマは『AWS』です。 そもそもAWSとはなに？というかた向けにAWSに対する再入門から始めていきたいと思います。 目次 目次
Serverless Patterns
Jimmy Dahlqvist for AWS Community Builders Posted on Feb 5, 2023 • Updated on Mar 7, 2023 There are a couple of architecture patterns that I tend to use over and over again when I build new solutions. In this post I will give an overview why I use them and how I implement them in a serverless, and often event-driven, way on AWS. Storage-First Storage-First is one of the patterns I use the most. I
Go MachineryでGraceful shutdownできてないバグを直した話 - LayerX エンジニアブログ
本ブログはLayerX Tech Advent Calendar 2022 の 12/13 の記事です。 こんにちは、バクラクのOCRなどを開発しているTomoakiです。 コーヒーはラテよりカプチーノ派です。 Machineryとは MachineryはGo製の非同期タスク管理フレームワークです。 github.com バクラクのバックエンドでは主にGo言語を採用しており、非同期で実行したい処理はメッセージキューとしてAmazon SQS、メッセージの送受信やジョブワーカーの管理にはMachinery(v1)を使用しています。 OCRでも採用している技術スタックは同じで、突然大量のリクエストが来ても対応できるように非同期処理を多用しております。 以下の図のようにファイルがアップロードされてから、OCRの実行結果を返すまでの過程で非同期処理がたくさん実行されています。 OCRの非同期タスク
Amazon SQSのロングポーリング設定でコストを99%削減した話 - Uzabase for Engineers
こんにちは。 NewsPicksエンジニアの美濃部です。 NewsPicksではAWSをインフラ基盤として利用しているのですが、この記事では実際に行ったSQSのコスト削減の話をしたいと思います。 結論から話すとタイトルにもありますが「SQSでメッセージを受信する時にはショートポーリングではなくロングポーリングにした方が大体においてコストが下がります」という内容です。 この話の発端はコスト削減の余地がないかを検討していてSQSのコストが高すぎないかと感じたところから調査が始まりました。SQSはAPIリクエスト数に応じた従量課金なのですがAPIリクエスト数を確認するとやはり多すぎると感じました。（ここはかなり感覚的なところなので何をもって多いと判断したかと言われると困るのですが） NewsPicksでは「SQS＋ワーカープロセス」で非同期処理を行うシステムがいくつかあり、これはよくあるワーカー
AWS Step Functions コールバックを利用した外部システム連携 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions コールバックを利用した外部システム連携 Shared Delivery Teams で Sr. Cloud App Architect を務める Zach Abrahamson による記事です。 AWS Step Functions を使用すると、複数の AWS サービスを調整してサーバーレスワークフローに落とし込めるため、アプリケーションの開発と更新を迅速に行うことができます。Step Functions を使用すると、AWS Lambda や Amazon ECS のようなサービスを機能豊富なアプリケーションに統合するワークフローを設計および実行できます。 ワークフローは一連のステップで構成され、あるステップの出力が次のステップの入力として動作します。Step Functions は各ステップを自動的
[アップデート] AWS LambdaがAmazon SQSをイベントソースとしたバッチ処理で部分応答をサポートしました | DevelopersIO
こんにちは。サービスグループの武田です。 AWS LambdaはPythonやJavaScriptで書かれた処理をクラウド上で実行できるAWSのFaaSです。さまざまなサービスと統合されていますが、そのひとつとしてAmazon SQSがあります。イベントソースマッピングという機能を使用することで、SQSへのメッセージ送信をトリガーとしてLambda関数を実行できます。SQSをイベントソースとしたLambda関数のトリガーは、バッチ処理として複数のメッセージをまとめて処理させることができます。さて複数のメッセージをまとめて処理する場合に起こる問題として、一部は成功するが一部は失敗してしまったというものです。 これまでは関数が成功すればすべてのメッセージが成功したとしてキューから削除。関数が失敗すればすべてのメッセージが失敗したとしてキューに残される。のどちらかしかありませんでした。そのため、
![[アップデート] AWS LambdaがAmazon SQSをイベントソースとしたバッチ処理で部分応答をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 先日 (2020/07/28) 開催しました AWS Black Belt Online Seminar「What’s New in Serverless」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200728 AWS Black Belt Online Seminar What’s New in Serverless AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. EventBridge については 「Lambda ⇒ EventBridge ⇒ Lambda」 といった AWS サービス間の連携も可能という認識です。ただし
![[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/7299922f0d7d95a821c165e2c8dd7427a034af16/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F08%2F07%2FThumbnail-1.png)
AWS認定は少しずつ移り変わってきました。小さいものでは試験内容の改訂から大きなものでは認定の追加や削除まで色々ありました。しかしここにきてAWS認定は別次元の進化を遂げようとしています。なんと試験問題にAWSの実技試験を織り交ぜてきたのです。 「試験ラボ」 と呼ばれるこの試みはAWS認定の試験対策に根本的な変更を求めるものであり、また認定の意義の見直しを迫るものでもあります。本記事では2021/7/27に新しく試験ラボが導入されたAWS認定「SysOpsアドミニストレーター - アソシエイト(SOA-C02)」の体験談になります。試験ラボの試し方から試験対策まで書ける範囲で書いていきます。 はじめに 最初にお断りしておきますが、AWS認定プログラムアグリーメントの規約により、認定試験を含む試験関連資料の内容については他言してはいけないことになっているので、その辺はAWSが公開している情報
本連載では分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っています。 今回は、サーバー上で実行されるタスクを管理するシステムであるジョブキューについての全般と、そのライブラリであるBullMQについて紹介します。 ジョブキューとは ジョブキューは、Webサーバー上で発生する様々なタスク（ジョブ）を管理するシステムで、タスクを複数のサーバーで分散して処理させたり、タスク失敗時にリトライしたりする機能を持ちます。 Misskeyでもジョブキューを活用しており、例えばActivityPubにおけるアクティビティの受信および配送や、ユーザーデータのインポートエクスポート処理をジョブとして管理しています。 Misskeyが使っているジョブキューのライブラリであるBullMQは、毎日指定した時刻にジョブを実行する機能などもあるので、サーバーの統
Lambdaで利用できるDead Letter Queue（DLQ）とはどんな機能であるか調べてみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 本エントリは、AWS LambdaとServerless #2 Advent Calendar 2019の23日目です。 ジョインした案件のLambdaの実装でDead Letter Queue（DLQ）が使われており、このDLQがどのような機能であるかよく理解できていなかったため、動作検証含め調べてみました。 Dead Letter Queueとは Asynchronous Invocation When you invoke a function asynchronously, Lambda sends the event to a queue. A separate process reads events from the queue and runs your function. When the event is added to the
AWS re:Invent 2022の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は米国時間で表記します。 11/28 (月) Amazon EC2 C7gn instances (Preview) 前世代のC6gnインスタンスと比較して、最大200Gbpsのネットワーク帯域幅と、最大50%高いパケット処理性能を提供 Amazon EC2 C6in instances 最大3.5GHzのオールコアターボ周波数を持つ第3世代Intel Xeon Scalableプロセッサーを搭載 x86ベースのAmazon EC2としては初めて、最大200Gbpsのネットワーク帯域
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「オンプレミスの納品」「スケールアップ運用解消」に必要な思考フロー 課題から「本当にしたいことは何か」を掘り下げて解決
guzzleで並列処理とリトライをやろうとして折れた話 - BASEプロダクトチームブログ
AWS再入門ブログリレー Amazon SQS編 | DevelopersIO
Dive deep into Amazon ECR (ECRの裏側の仕組みを知ろう)
Amazon SQS での Lambda の使用 - AWS Lambda
SNSのリトライロジックが公開され、DLQがサポートされていたので試してみた | DevelopersIO
AWS再入門ブログリレー AWSについて振り返ってみよう！ 編 | DevelopersIO
AWS認定に追加された実技試験「試験ラボ」をくぐり抜けて合格した話(SOA-C02)
Bullmqを使ったジョブキューの実装 | gihyo.jp
AWS re:Invent 2022で発表された新サービス/アップデートまとめ - Qiita