Redshift Serverless について見かけた課題と対応策（2022年7月19日時点）をまとめました。GitHubリポジトリ「Awesome Redshift JP」にまとめた内容の転記です。 概要 プレビュー料金に見える→金額あってそう 名前空間やワークグループの削除エラー→英語表示 ProvisionedとAPIが違う→ラッパーを使う 時間課金でストリーミング不向き→二台構成 or マイクロバッチ化 Redshift Serverless の料金表が「プレビュー」のままに見える（2022年7月19日時点） 日本語だと「プレビュー」の記載がありますが、英語だとPreviewの記載は外れています。 料金表の内容も同じなので、日本語の翻訳が間に合っていないようです。 日本語の料金表: 英語の料金表: Redshift Serverless の名前空間やワークグループの削除ができない
AWSのRDBMSサービス「Amazon RDS」「Aurora Serverless」の基本的な違い
関連キーワード Amazon Web Services | RDBMS | クラウドサービス | データベース Amazon Web Services（AWS）はDBMSの機能をクラウドサービスとして提供する「クラウドデータベース」として、リレーショナルデータベース管理システム（RDBMS）サービスの「Amazon Relational Database Service」（Amazon RDS）と「Amazon Aurora Serverless」を提供している。両者は何が違うのか。本稿は、Amazon RDSとAurora Serverlessの主な違いを確認する。 「Amazon RDS」「Amazon Aurora Serverless」の似ている点と違う点 利用できるRDBMS Amazon RDSは、開発者がデータベースの実行単位である「DBインスタンス」で使うRDBMSやストレ
AWS Lambdaで簡単機械学習 = Lambdaコンテナ + serverless framework - Qiita
背景 Pythonでテキストからカテゴリを推定する関数をLambdaで作った際に、mecabの辞書ライブラリやpandas, numpyがでかすぎてデプロイできずに右往左往したのですが、serverless frameworkとLambdaコンテナのおかげで簡単にデプロイができたので、感動をお伝えするためにこの記事を書いていこうと思います。 やりたかったこと テキストがどのカテゴリに属するか、tf-idfとコサイン類似度を使って算出するというのが、今回やりたいことになります。 テキストは、S3のPUTされ、PUTイベントをトリガーに関数を走らせるようなイメージです。 以下はカテゴリ推定方法です。 テキストをmecabを使ってわかち書き わかち書きされたテキストをtf-idfでベクトル化 ベクタライザはカテゴリに含まれる単語のリスト化したものをつ使って事前計算したものを使う tf-idfベク
Serverless replication from operational databases to BigQuery | Google Cloud Blog
In today’s competitive environment, organizations need to quickly and easily make decisions based on real-time data. That’s why we’re announcing Datastream for BigQuery, now available in preview, featuring seamless replication from operational database sources such as AlloyDB for PostgreSQL, PostgreSQL, MySQL, and Oracle, directly into BigQuery, Google Cloud’s serverless data warehouse. Datastream
プレゼンテーションスライド @ DevLOVE v2019.10.21 Presentation Slides for DevLOVE v2019.10.21 https://devlove.doorkeeper.jp/events/98173
【AWS】【Serverless Framework】カスタムドメイン設定方法（開発環境と本番環境の分離も考慮） - Qiita
はじめに こちらの記事の続編です。 （※ 読まなくても大丈夫です。） Serverless Framework で REST API をデプロイすると、AWS 側で以下のようなドメインが発行されます。 このドメインに含まれる 5tjwpqfgo2 という値は、こちらで何も設定しないとデプロイするごとに毎回変更されてしまい、使い勝手がよくないです。 なので、これをカスタムドメインで固定しようというのが、今回やりたいことになります。 サマリー 以下を Serverless Framework で実現しました。 カスタムドメインを指定できるようにすること 開発環境と本番環境で異なるカスタムドメインを指定できるようにすること その結果、REST API のパスが以下のように固定することができるようになりました。 Before URL：https://xxxxxxx.execute-api.us-e
まったく新しい開発体験をもたらすServerless Stackとは何か - KAKEHASHI Tech Blog
はじめに こんにちは、LINE上で動くおくすり連絡帳 Pocket Musubiというサービスを開発している種岡です。 この記事では、Serverless Stackとapollo-server-lambdaを使って、AWS Lambda上でApollo Serverを動かしてみたのでご紹介します。 対象読者 以下に興味がある方は読んで頂ければ幸いです。 CDKのラッパーであるServerless Stackについて AWS Lambda上でApollo GraphQLサーバーの起動について とくに、Serveless StackのLive Lambda Development機能がオススメです。 このように Hello, World! を出力するLambdaに紐づくエンドポイントがあったとして Local環境にあるLambdaコードを修正し、AWS側のエンドポイント経由で再度リクエスト投
Enabling Serverless Applications at SquareEnabling AWS Lambda Functions to call into the Square datacenter’s envoy service mesh Square and the Cloud Square is early in its migration to the cloud and most applications run in our datacenters today. The Platform and Infrastructure Engineering (PIE) organization has historically focused on providing infrastructure and tooling to build and operate in t
Cloudflare acquires Baselime to expand serverless application observability capabilities
Cloudflare acquires Baselime to expand serverless application observability capabilities04/05/2024 Today, we’re thrilled to announce that Cloudflare has acquired Baselime. The cloud is changing. Just a few years ago, serverless functions were revolutionary. Today, entire applications are built on serverless architectures, from compute to databases, storage, queues, etc. — with Cloudflare leading t
2020/01/06にオンラインで開催された「Serverless Meetup Japan Virtual #14」での、私のセッションでの発表資料です。Serverless FrameworkのPluginを使用したAWS Lambdaのローカルテストについて記載しています。Read less
Ruby on Jetsと組み合わせるデータベースをどうするか問題 Ruby on JetsはRDSまたはDynamoDBをデータベースとして使うことができます。しかし、どちらも一長一短です。 DynamoDBを使う場合 メリット スケールアウトできる 読み書きが速い アクセス制限しやすい デメリット 使い慣れていない テーブル設計が難しい スケールアウトしたとき、料金が高額となる恐れがある インターネット経由もしくはVPCエンドポイント経由でしかアクセスできない RDSを使う場合 一般的にRDSとLambdaは非常に相性が悪いと言われています。ただ、もちろんメリットもあります。 メリット これまで使い慣れている テーブルの結合や検索を簡単に実現できる LambdaをVPCに配置する場合、インターネットを経由せずにアクセスできる デメリット Lambdaがスケールアウトしたとき、Lambd
サーバーレスアプリケーション構築・運用ツール「Serverless Framework」開発チームは10月9日、最新版「Serverless Framework 1.54.0」を公開した。 Serverless Frameworkはサーバーレスアプリケーション構築と運用のためのフレームワーク。AWS Lambda、Azure Functions、Google CloudFunctionなどのサーバーレスサービスを使って、イベントにより動くマイクロサービスで構成されたアプリケーションを構築できる。プロジェクトを進める米Serverless Frameworkは、高度な機能やサポートがついた有償版も提供している。オープンソース版はMIT Licenseで公開されている。 Serverless Framework 1.54は、2016年にリリースしたバージョン1系の最新リリース。9月に公開したバ
Redis および Memcached 用の Amazon ElastiCache Serverless が利用可能に | Amazon Web Services
Amazon Web Services ブログ Redis および Memcached 用の Amazon ElastiCache Serverless が利用可能に 11月27日は、Amazon ElastiCache Serverless の提供開始についてお知らせします。これは、お客様が 1 分以内にキャッシュを作成し、アプリケーションのトラフィックパターンに基づいて容量を即座にスケールできる新しいサーバーレスオプションです。ElastiCache Serverless は、2 つの一般的なオープンソースキャッシュソリューションである Redis および Memcached と互換性があります。 ElastiCache Serverless を使用すると、最も要求の厳しいワークロードであっても、即座にキャッシュを運用できます。キャパシティプランニングにかける時間を削減でき、キャッシュ
Serverless FrameworkとExpressを使用してREST APIをデプロイする | DevelopersIO
Many people are using serverless architecture to deploy web applications these days because of its very fast deployment, dynamic scaling, and pay-per-invocation. This blog is about deploying a serverless REST API using Node.js, serverless and express framework. このブログでは、Node.js と Serverless Framework と Express をつかった、サーバーレス REST API のデプロイについてに紹介します。 Serverless Framework とは？ Serverless Framework とは F
Serverless Architecture for a Web Scraping Solution | Amazon Web Services
AWS Architecture Blog Serverless Architecture for a Web Scraping Solution If you are interested in serverless architecture, you may have read many contradictory articles and wonder if serverless architectures are cost effective or expensive. I would like to clear the air around the issue of effectiveness through an analysis of a web scraping solution. The use case is fairly simple: at certain time
Today, we are thrilled to announce the launch of Deploy on Cloudflare Workers AI, a new integration on the Hugging Face Hub. Deploy on Cloudflare Workers AI makes using open models as a serverless API easy, powered by state-of-the-art GPUs deployed in Cloudflare edge data centers. Starting today, we are integrating some of the most popular open models on Hugging Face into Cloudflare Workers AI, po
Just about four years ago, we announced Cloudflare Workers, a serverless platform that runs directly on the edge. Throughout this week, we will talk about the many ways Cloudflare is helping make applications that already exist on the web faster. But if today is the day you decide to make your idea come to life, building your project on the Cloudflare edge, and deploying it directly to the tubes o
Building well-architected serverless applications: Optimizing application performance – part 1 | Amazon Web Services
AWS Compute Blog Building well-architected serverless applications: Optimizing application performance – part 1 This series of blog posts uses the AWS Well-Architected Tool with the Serverless Lens to help customers build and operate applications using best practices. In each post, I address the serverless-specific questions identified by the Serverless Lens along with the recommended best practic
Serverless – SaaS版 Developers.IO Cafeのアーキテクチャ設計で考えたこと #cmdevio | DevelopersIO
渡辺です。 Developers.IO 2019 でカフェのアーキテクチャについて発表してきました。 かなり駆け足になってしまいましたが、カフェで利用している技術や、アーキテクチャ選定の経緯などをまとめています。 興味を持たれた方は、会社説明会へエントリーください！ 発表資料
Amazon Aurora PostgreSQL Serverless – Now Generally Available | Amazon Web Services
AWS News Blog Amazon Aurora PostgreSQL Serverless – Now Generally Available The database is usually the most critical part of a software architecture and managing databases, especially relational ones, has never been easy. For this reason, we created Amazon Aurora Serverless, an auto-scaling version of Amazon Aurora that automatically starts up, shuts down and scales up or down based on your appli
「サーバーレスアンチパターン今昔物語 番外編 」の SSR を試してみる #serverless_newworld - omuronの備忘録
serverless-newworld.connpass.com 赤いドクロがトレードマークの西谷さんの「サーバーレスアンチパターン今昔物語 番外編 」で紹介された SSR を試してみたいと思います。 試す内容は、以下のブログの内容です。 www.keisuke69.net リポジトリは こちら 。 はじめに 私は元々バックエンドエンジニアであり、その延長で AWS を触り始めました。 ゆえに、フロントエンドはめっぽう弱いので、あまり知見がないという前提での作業です。 とりあえず、AWS で動かすことを目指すので、正しいやり方かどうかは手探り状態です。 試してみる 環境構築 macOS 10.14 で作業しています。 まずは、リポジトリを取得。 $ git clone git@github.com:Keisuke69/serverless-newworld-20200909.git $ c
What’s happening with Serverless Framework, and it lives with AWS SAM.
こんにちは。TIGの伊藤太斉です。 2021年もServerless連載を開催します！ サーバーレスについて サーバーレスは、「サーバーが存在しない」ではなく「サーバーの管理を不要、もしくは極小化する」ことを主眼においた考え方です。 パブリッククラウドには必ずと言っていいほどFaaS（Function as a Service）が存在し、それらを一般的にサーバーレスサービスとして扱っています。代表的にはAWSのLambda、GCPのCloud Functionsなどが該当し、どんなシステムを構築する際にも目にするようになりました。 クラウドリフトにおいては従来Cronなどをジョブで回していたものをクラウドのレイヤに切り出して管理しやすくしたり、新規サービスを構築する場合では従来のようにIaaS中心の構成ではなく、サーバーレスアーキテクチャを検討、利用することも増えています。 フューチャーで
What is the AWS Serverless Application Model (AWS SAM)? - AWS Serverless Application Model
What is the AWS Serverless Application Model (AWS SAM)? The AWS Serverless Application Model (AWS SAM) is a toolkit that improves the developer experience of building and running serverless applications on AWS. AWS SAM consists of two primary parts: AWS SAM template specification – An open-source framework that you can use to define your serverless application infrastructure on AWS. AWS SAM comman
How to Design Your Serverless Apps for Massive Scale | Amazon Web Services
AWS Architecture Blog How to Design Your Serverless Apps for Massive Scale Serverless is one of the hottest design patterns in the cloud today, allowing you to focus on building and innovating, rather than worrying about the heavy lifting of server and OS operations. In this series of posts, we’ll discuss topics that you should consider when designing your serverless architectures. First, we’ll lo
2022.4.22 に Aurora Serverless v2 が GA された。 以前から気になっていた機能なので特徴について気になった点をまとめてみた。 Disclaimer 2022.4.22 時点での情報です。最新の情報は公式ドキュメントを参照してください。 本記事では網羅性はあまり意識していません。繰り返しになりますが、詳細は公式ドキュメントを参照してください。 Aurora Serverless v2 の主な機能概要 負荷に応じてインスタンスタイプが自動的にスケールアップ Provisioned インスタンスと Serverless インスタンスを混在して一つのクラスタに配置できる v1 と比較してよりきめ細やかな Option が指定可能(インスタンスタイプ、Global Database の指定等) ※ Disclaimer でも触れた通り網羅性は意識していません 1.
![[祝GA!] Aurora Serverless v2 の特徴まとめ](https://cdn-ak-scissors.b.st-hatena.com/image/square/e8bdb70ce2faec911855cef199582d01cb243e39/height=288;version=1;width=512/https%3A%2F%2Fwhnyab.com%2Fstatic%2F555ae1058d9c5bdb7e4d6dbc031f8384%2Ftitle.png)
Serverless offer for Azure Cosmos DB now in preview | Azure の更新情報 | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
Building serverless multi-Region WebSocket APIs | Amazon Web Services
AWS Compute Blog Building serverless multi-Region WebSocket APIs This post is written by Ben Freiberg, Senior Solutions Architect, and Marcus Ziller, Senior Solutions Architect. Many modern web applications use the WebSocket protocol for bidirectional communication between frontend clients and backends. The fastest way to get started with WebSockets on AWS is to use WebSocket APIs powered by Amazo
Amazon Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみた | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみたいと思います。 Neptuneとは Amazon NeptuneはフルマネージドなグラフDBサービスです。 Neptuneについては以下の記事で紹介されていますので、より詳しく知りたい方は以下をご参考ください。 Neptune Serverlessの構築 NeptuneはServerlessでも構築可能なので、今回はそちらを利用したいと思います。 AWSのマネージドコンソールからNeptuneを検索し、「Amazon Neptune を起動」を選択します。 以下のような画面が表示されますので、まずエンジンのタイプを Serverless で設定します。 バージョンは今回は Neptune 1.2.0.1.R2 を利用します。 DBクラスター識別子は任意
[レポート] (New Launch) Introducing Amazon Redshift Serverless #reinvent2021 | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。これまでのRedshift （Provisioned Cluster）が持つ全て機能と接続性を備えたその名の通り、インスタンスを持たないサーバレスなRedshift Serverless（Preview）が登場しました。 弊社では、Redshift ServerlessのPrivate Previewの段階から、AWS様と連携して事前に技術検証やフィジビリティについてフィードバックさせていただきました思い入れの深いサービスであり、Amazon.comのプレスリリースでも私のコメントを紹介させて頂いております。 Amazon RedshiftのVP(Vice President)であるYan LeshinskyさんとプリンシパルプロダクトマネージャーであるNeeraja Rentachintalaさんによる2021/12時点の最新
![[レポート] (New Launch) Introducing Amazon Redshift Serverless #reinvent2021 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6c34adaa8e4bd8be879944c6e7f70fd99661e5e3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F11%2Feyecatch_reinvent2021_sessionreport.png)
CI/CD pipelines have long played a major role in speeding up the development and deployment of cloud-native apps. Cloud services like AWS lend themselves to more agile deployment through the services they offer as well as approaches such as Infrastructure as Code. There is no shortage of tools to help you manage your CI/CD pipeline as well. While the majority of development teams have streamlined
There's been massive innovation in the database and backend space for developers building applications with serverless and edge compute. There are new tools, companies, and even programming models that simplify how developers store data. This post will be an overview of databases that pair well with modern application and compute providers. Criteria I'll focus on transactional¹ workloads instead o
[report]サーバレスアーキテクチャのトラブルシューティングを体験してきた in #reinvent (SPL302-R Troubleshooting serverless applications) | DevelopersIO
こんにちは、大阪オフィスのかずえ@re:Inventです。re:InventにてサーバーレスアプリケーションのトラブルシューティングをするSpotlight Labセッションに参加しましたのでレポートします。 Spotlight Labって？ いわゆる「手を動かす」系のセッションです。会場に入ると、2つモニターが用意された席に案内されます。片方にガイドを表示し、もう片方にAWSコンソールを表示して手を動かす内容です。 会場の雰囲気 講師はここから話します。 セッション紹介文 Monitor and debug an application using AWS X-Ray, Amazon CloudWatch metrics, Amazon CloudWatch Logs, and CloudWatch Logs Insights. Working in teams, use these t
![[report]サーバレスアーキテクチャのトラブルシューティングを体験してきた in #reinvent (SPL302-R Troubleshooting serverless applications) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
Introducing new AWS Serverless digital learning badges | Amazon Web Services
AWS Compute Blog Introducing new AWS Serverless digital learning badges This post is written by Josh Kahn, Tech Leader, Serverless. Today, we are excited to announce an all-new way to demonstrate your AWS Serverless knowledge and skills: a verifiable, digital badge. The new digital badge is aligned with our Serverless Learning Plan now available in AWS Skill Builder. You can earn the digital badge
【Serverless Framework】ローカル環境でAPI Gateway, Lambdaを再現する - Qiita
【Serverless Framework】ローカル環境でAPI Gateway, Lambdaを再現するPythonlambdaAPIGatewayServerlessFramework はじめに APIの開発においてAWSの「API Gateway」と「Lambda」をよく使用されていると思います。 開発する上で、毎回デプロイしてからレスポンスを確認するのは手間がかかり効率的でないということで「Serverless Framework」およびそのプラグインである「serverless offline」を使用してローカルで開発できる環境を作ります。 Serverless Framework とは サーバーレスなアプリケーションを容易に作成、管理、デプロイできるオープンソースなフレームワーク(Node.js製)。 AWSだけでなく、AzureやGCPなど様々なクラウドサービスに対応している
概要 この記事は Serverless Advent Calendar 2020 の24日目の投稿となります。 Serverless Advent Calendar 2020 - Qiita 先日、AWS LambdaでDockerコンテナが実行できるようになりました。 AWS Lambda now supports container images as a packaging format また、Serverless Frameworkがこれに対応し、以下のような記述で、デプロイできるようになりました。 service: example-service provider: name: aws functions: someFunction: image: <account>.dkr.ecr.<region>.amazonaws.com/<repository>@<digest>
⚠ BREAKING CHANGES Node.js version 10 or later is required (dropped support for v6 and v8) CLI: Locally installed (in service node_modules) CLI will be run instead of global one, when globally installed serverless CLI is invoked in a context of a service, which has locally installed serverless. slss alias for serverless CLI command was removed. Rely on sls or serverless instead bin/serverless was
ECS(Fargate)からTiDB Cloud(Serverless)にPrivateLink経由で接続してみた | DevelopersIO
こんにちは、ゲームソリューション部のsoraです。 今回は、ECS(Fargate)からTiDB Cloud(Serverless)にPrivateLink経由で接続してみたことについて書いていきます。 構成 プライベートサブネットにあるECS(Fargate)からPrivateLinkを経由して、TiDB Cloudのクラスターへ接続する構成です。 TiDB管理側の環境やVPCを明示的に記載していますが、ユーザー側で意識する必要はありません。 TiDB Cloudとは何か、TiDB Cloudのアカウント作成手順の説明は割愛します。 詳細については、以下記事をご参照ください。 TiDB Cloudでの準備 クラスタの作成 TiDB Cloudにてクラスタを作成します。 Tierは無料枠があるServerlessを利用し、リージョンは東京（ap-northeast-1）を選択します。 クラ
RAGの主役は生成AIではなく検索システムだという話 - Amazon Kendra と Amazon OpenSearch Serverless の比較 - - サーバーワークスエンジニアブログ
サーバーワークスの村上です。 煽った感じのタイトルですが、検索も大事だよね、と捉えていただけると幸いです。 このブログでは、同じ意味だけど検索対象ドキュメントとは違う言葉を使って検索した際に、きちんと検索できるのか検証してみました。 最初に記事のまとめ 検証したこと 弊社ホームページの検索 検証の目的 結論 Amazon Kendraの場合 Amazon OpenSearch Serverlessの場合 補足（というかDisclaimer） 前提 RAG（検索拡張生成）とは Amazon Kendraの検索 Amazon OpenSearch Serverlessの検索 検証手順 Amazon Kendraに弊社ホームページを取り込む Amazon OpenSearch Serverlessに弊社ホームページを取り込む CloudWatchからURLを取得 URLリストの作成 URLの内容
EventBridgeとLambdaを連携させるServerless Frameworkの設定方法 | DevelopersIO
どうも！大阪オフィスの西村祐二です。 この記事はAWS LambdaとServerless #1 Advent Calendar 2019の14日目 の記事です。 個人的に今後良く利用しそうだなと思っているサービスの一つであるEventBridgeとLambdaを連携させるためのServerless Frameworkの設定方法をまとめていきたいと思います。 EventBridgeはLambdaを挟まなくても良い場面が多そうではありますが、やっぱり要件満たせないからLambdaを挟むこともたぶん発生すると思うので、そういった場面で即座に対応できるようにしておきたいと思ったのが執筆の動機です。 また、EventBridgeの挙動の確認や、サービス理解の勉強にもお手軽でちょうど良いかなとも思っています。 Serverless Frameworkを使うのは、個人的な好みです。AWS SAMなど他
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redshift Serverless について見かけた課題と対応策 - Qiita
今Serverlessが面白いわけ - DevLOVE感謝版
Enabling Serverless Applications at Square
Serverless Framework Pluginで行うLambdaテスト
Ruby on JetsとAurora Serverlessでスケールアウト可能なアプリケーションを構築する
サーバーレスアプリケーション向けフレームワーク「Serverless Framework 1.54」リリース
Bringing serverless GPU inference to Hugging Face users
Cloudflare Workers: the Fast Serverless Platform
オープンソースコミュニティで加速するサーバーレスの未来/serverless will be
Serverless連載2021を始めます | フューチャー技術ブログ
[祝GA!] Aurora Serverless v2 の特徴まとめ
Serverless CI/CD on the AWS Cloud | Caylent
2023 State of Databases for Serverless & Edge
Serverless FrameworkでLambdaにDockerコンテナをデプロイしてみた - Qiita
Release 2.0.0 (2020-09-10) · serverless/serverless