常時稼働が不要なRDSインスタンスを停止してAWS料金を節約する - KAYAC engineers' blog
SREチームの長田です。 今回は開発・検証用Amazon RDS(以下RDS)の運用のはなしです。 はじめに 「常時使用するわけではないけど、一定の頻度で必要になるデータベース」というものがあります。 AWSリソースの動作確認を行う環境(カヤックではこれを「ステージング環境」と呼ぶことが多いです)や、 リリース後の負荷試験環境など、本番環境とは異なる環境にあるデータベースがこれにあたります。 AWSのようなクラウドサービスを利用している場合、起動時間に対して課金が発生することが多いでしょう。 負荷試験用に用意したRDSインスタンスは、試験が実施されていない期間はただ課金が発生するだけのリソースになってしまいます。 たまにしか使われないデータベースを放置しておくのはもったいない 負荷試験で使用するものは、大抵の場合本番環境と同じスペックのものを用意することになるでしょう。 すると本番環境と同
nakanoshima.dev #34 - 開発しくじり先生 LT会 「Amazon SES のバウンス率が急上昇 〜Amazon SES を止めてしまった日〜」 の資料になります。 https://nakanoshima-dev.connpass.com/event/293381/
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 昨年 令和5年度はガバメントクラウド関連のプロジェクトに関わる機会をいただき、地方自治体様向けにAWSの役務費用・利用料金の見積をお手伝いする機会が多々ありました。そのなかでエンジニアとして感じた苦労ポイントを本BLOGでご紹介させていただきます。 このBLOGを書いているちょうど先日、3月29日に「令和6年度ガバメントクラウド早期移行団体検証事業（第一回）」の公募および採択結果がデジタル庁より公示されました。「第一回」とあることから、年度内に追加で公募が行われると予想されますので、第二回以後に申込を検討している地方自治体ご担当様の参考になれば幸いです。 www.digital.go.jp 役務費用 依頼する作業範囲（スコープ）が不明 マイナンバー系ネットワークとAWSネットワーク間の責任分界点
AWS の Public IPv4 アドレスに 2024年2月1日から請求が開始される件について影響を事前に確認する - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 2023年7月末に発表された AWS における Public IPv4 アドレスの有料化が話題ですが、事前にこの利用料金への影響度合いを調査する方法についてお知らせします。 はじめに AWS 公式ブログ 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWS におけるパブリック IPv4 アドレスの使用状況の特定と最適化 影響の確認方法について 利用料金への影響を確認する AWS 利用料確認ページから明細を確認する AWS Billing > Bills から確認する AWS Cost Explorer から確認する 費用発生の原因となるリソースを特定する Amazon VPC IP Address Man
概要 当時数ヶ月間誰も原因がわからなかった一時的にRDSの負荷（CPU使用率）がスパイクする現象の原因を調査できる環境を整えて、原因分析〜改善まで実施したときの話です。 1つ1つの取り組み自体は大きなことはやっていませんが、一連の動きで得られたものも多かったのでアウトプットしようと思い記事にまとめました。 取り組んだ課題 原因を特定するためのツールがない そもそも何が原因でRDSのCPU負荷が高まっているのかを調べるための情報がCPU使用率以外に全くない状況でした。 そこでRDSの負荷原因を探る方法を調べると、Performance InsightsやCloudWatch Logsへのスロークエリログ出力を使う記事をいくつか見つけたのでこの2つについて調べることにしました。 Performance Insights データベース負荷をSQLなどの単位で時系列で可視化したり、トップSQLやD
クラウドサービス世界最大手の米アマゾン・ウェブ・サービス（AWS）は19日、2023〜27年の5年で日本に約2.3兆円を投資すると発表した。クラウドの基幹設備であるデータセンターの増設や運営体制強化に充てる。生成AI（人工知能）の普及などに伴うデータ処理量の爆発的な増加を見越して投資を加速する。AWS日本法人が19日に都内で記者会見を開いて投資方針を説明した。日本で顧客のデータを処理・保管して
AWS FargateにおけるAmazon ECS クラスターの効果的な分け方を様々な観点で考えてみた | DevelopersIO
はじめに AWS Fargateを使用している際に、ECSクラスターをECSサービスごとやECSタスクごとにどのように分けるかに迷うことがありました。 そこで、個人的に複数の観点からクラスターの効果的な分け方を考えてみました。 なお、この記事ではECS on EC2ではなく、ECS on Fargateのみに焦点を当てています。 ECSについて ECSの構成について簡単に説明しますと以下の3つに分かれます クラスター タスクとサービスを実行する基盤です サービス ECSクラスター内で、タスクを実行し管理します タスク タスク定義に基づいてコンテナを起動します 今回は、タスクとサービスを実行する基盤であるクラスターをどのような単位で分けるべきかを考えてみました。 一般的 一般的には、システムや環境ごとにクラスターを作成すると良いでしょう。 理由としては、２点あります。 1. リソース作成の簡
terraform importしてplan差分がない=環境が再現できているといつから錯覚していた？ - Qiita
はじめに 先日、Terraform v1.5.0がリリースされました v1.5の目玉はなんと言っても import ブロックと terraform plan -generate-config-out によるtfファイルの生成ですよね〜。これで既存のリソースもimportし放題だと巷で話題です。 ところで、Terraformの特徴として、「インフラをコード化することで環境が再現できる」などと一般的に謳われています。また、Terraformには「既存リソースをimportする機能」があります。別にそれぞれ単独では間違ってはないのですが、これらを組み合わせて、「既存リソースをimportしてplan差分が出なければ元の環境を再現できる」と言えるのでしょうか？ 残念ながら現実にはそうとも言い切れません。なんとなく経験上わかってる人もいるとは思いますが、意外と気づいてない人も多そうな気がしたので、ち
AWS Dev Day 2023 E-2: Amazon S3・Amazon Cognito・AWS Lambdaのアンチパターンで学ぶセキュリティ・バイ・デザイン | ドクセル
AWS Dev Day 2023 E-2: Amazon S3・Amazon Cognito・AWS Lambdaのアンチパターンで学ぶセキュリティ・バイ・デザイン
はてなにおけるEKSの運用と自動化 (2024年版) - Hatena Developer Blog
サービスプラットフォームチームで SRE を担当している id:masayosu です。 先月からですが Hatena Developer Blog にて SRE 連載を始めました。先月の記事は はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog です。 毎月はてなの SRE が交代でブログ記事を書きますのでお楽しみに。 この記事は2024年2月の SRE 連載の記事です。 はてなの EKS 利用について 私が所属するサービスプラットフォームチームでは EKS の運用を続けており、先日 Kubernetes 1.23 から 1.28 へのアップグレードを完了しました。 私のチームは少人数で形成されているのですが、担当しているサービスは大小様々あり EKS クラスター上では数十個のサービスが稼働しています。 少
【Unit4 ブログリレー8日目】 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 今日の記事は、タイトルのとおりgoのLambdaはコンテナイメージで管理するのがオススメって話です。 城島高原パーク（きじまこうげんパーク）は、大分県別府市の城島高原にある遊園地。本文には関係ありません。 go1.xランタイムのサポート終了 コンテナイメージにする利点 起動時間は遅くならないの？ 構成 処理本体 main.go Dockerfile 本番実行用イメージ ローカル実行用イメージ ローカルで実行 Lambdaの設定 まとめ We are hiring! go1.xランタイムのサポート終了 先日、AWS Lambdaの go1.x ランタイムのサポート2023/12/31で終了することが話題になっていました。 「なっていました」と伝聞なのは、Unit4ではすで
WAFで困るのは「直して」と言えないこと 清野隼史氏（以下、清野）：ここからはもうちょっと現場レベルまで踏み込んでいきます。その中でも特にWAFのところにフォーカスをしてエピソードを聞きたいなと思います。このトピックでは、AWSの運用で現場が抱えている課題みたいなところを聞きたいなと思っています。こちらも佐竹さんに聞いてもいいですか？ 佐竹陽一氏（以下、佐竹）：はい。「AWS WAF」もしくは「WafCharm」を使っているという視点で話します。先ほど臼田さんが「Security Hubを使っている方」というアンケートをして、半分ぐらいの方が手を挙げられたことに「そんなにいるの!?」とむしろちょっとビックリしています（笑）。 （一同笑） 「意識高!!」と思ったんですけど（笑）。こういう課題は、もしかしたら現場の方も持っていると思います。 セッションの1個目のところでBookLiveさんが「
TL;DR RDS の メジャーバージョンアップグレード を行なった PostgreSQL 11.6 -> 15.5 MySQL 5.7.44 -> 8.0.36 PostgreSQL は AWS CDK を利用した、自前での手動切り替えをベースにした Blue/Green デプロイによるアップグレードを行なった MySQL は AWS コンソールから AWSが提供している機能である RDS Blue/Green Deployments による MySQL のアップグレードを行なった nginx の ngx_http_proxy_module を活用してサービスのダウンタイムを防止した はじめに 初めまして。株式会社ジーニーの GENIEE CHAT開発チームのマネージャーを担当しています。 今回は、データベースのメジャーアップグレードを行った際の手順やポイントなどを書いていこうと思います
年始に勉強したい AWS セキュリティのコンテンツまとめ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、臼田です。 みなさん、AWSセキュリティの勉強してますか ? (挨拶 今回はタイトルの通り、時間のあるときにしっかり確認していきたい AWS セキュリティのコンテンツをまとめて紹介します。 この記事では AWS セキュリティを学習するための参考になるコンテンツをまとめますが、AWS という膨大なプラットフォームとセキュリティという広大な領域について、すべての人の需要を満たすことが難しいのは自明の理であります。コンテンツの種類もたくさんあるので以下の 5 編にまとめ、レベル感は初級者から上級者までごちゃまぜでその都度解説していくので、まずは全部眺めてから自身にあったものを選択してください。 AWS とセキュリティの基礎編 詳細を理解しようユーザーガイド編 じっくり読む課題ホワイトペーパー編 積読しないで参考書編 オフェンシブに挑戦編 コンテンツだけをババっと紹介してもいいのですが
こんにちは。デジカルチームの末永(asmsuechan)です。この記事は「フルスクラッチして理解するOpenID Connect」の全4記事中の3記事目です。前回はこちら。 www.m3tech.blog 9 JWT の実装 9.1 JWT概説 9.2 OpenID Connect の JWT 9.3 ヘッダーとペイロードの実装 9.4 署名の実装 公開鍵と秘密鍵を生成する 署名処理を作る 10 JWKS URI の実装 (GET /openid-connect/jwks) 11 RelyingParty で ID トークンの検証をする 12 OpenID Connect Discovery エンドポイントの実装 (GET /openid-connect/.well-known/openid-configuration) まとめ We're hiring 今回は全4回中の第3回目です。 (
VS CodeでAWSを操作しよう
2024/04/20(土) 開催の「VS Code Conference JP 2024」における私の発表「VS CodeでAWSを操作しよう」の発表資料になります。 #vscodejp URL： https://vscodejp.github.io/conference-2024/
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
はじめに これまでのインフラ課題の管理方法およびその課題点 それぞれのチームの要件 現在の管理方法 AWS Health Eventを用いたJIRAチケットの自動起票 Slack通知の自動化 JIRAチケットの関連付け JIRAチケットでの期限管理 現在の運用フロー SREの作業 開発チームの作業 移行してみて感じたメリット 今後の課題 さいごに はじめに こんにちは。ﾃｸﾉﾛｼﾞｰ本部 ﾌﾟﾛﾀﾞｸﾄ開発部 SREのkoizumiです。 最近、すっかり暑くなってしまいましたね。 さて、今回はAWS Security HubやSnykで検知された脆弱性の課題項目や、AWS Healthで通知されるメンテナンス情報の管理方法ならびにその自動化について取り上げます。 弊社では、週一でプロダクトチームとのふりかえり会というものを開催しており、SLO達成状況やアラート発生状況、セキュリティ指摘項目
Redisをフォークした「Valkey 7.2.5」安定版が早くも登場。AWS、Google、Oracle、Heroku、Alibaba Cloudなど賛同が広がる
Redisをフォークした「Valkey 7.2.5」安定版が早くも登場。AWS、Google、Oracle、Heroku、Alibaba Cloudなど賛同が広がる RedisをフォークしたValkeyが早くも安定版「Valkey 7.2.5」をリリース。Valkeyブランドのためのコードの変更が行われた。AWS主導で始まったが、Google CloudやOracle、Heroku、Alibaba Cloudなど賛同が広がっている。 Valkey 7.2.5のリリースノートによると、このバージョンはフォーク元であるRedis 7.2.4からブランド名をValkeyへ変更するための変更をソースコードに対して行ったものであり、Redis 7.2.4からプロトコル、API、リターン値、データファイルフォーマットなどの変更は行われていないと説明されています。 ValkeyはRedisをフォークした
AWS、オープンソースのコンテナ開発ツール「Finch」のWindows版リリース。コンテナのビルドや実行環境一式
AWS、オープンソースのコンテナ開発ツール「Finch」のWindows版リリース。コンテナのビルドや実行環境一式 AWSは、ローカルマシン上にLinuxコンテナのランタイム、ビルドツール、コマンドラインツールなど一式を簡単にインストールし、コンテナを用いた開発環境を開始できるソフトウェア「Finch」のWindows版を公開しました。 Finchは以前からIntelプロセッサもしくはAppleシリコン搭載のMacに対応していました。今回のWindows対応によってmacOSとWindowsの両方に対応したことになります。 Finch 1.0 has arrived! The #opensource source project has reached a significant breakthrough. Finch is now available for Windows Develo
Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
AWS Builder IDの作成から始まるAWS Skill Builderの始め方をご紹介します。 こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 皆さん、AWS Skill Builderというサービスをご存知でしょうか？ AWS Skill BuilderとはAWSが提供する学習コンテンツがまとめられたサービスです。 学習コンテンツの幅は様々で、例えば以下のようなものがあります。 AWS認定試験対策のコンテンツ ゲームを通してAWSのサービスを学べるコンテンツ AWSの基礎を学べるコンテンツ 各サービスのベストプラクティスを学べるコンテンツ サンドボックスが用意され手軽に学べるハンズオンコンテンツ などなど、基本的にドキュメント形式のものは無料で利用出来るところも魅力的です。また、日本語対応のものも増えています。 本記事では、そんなAWS Skil
AWS 内で大規模言語モデルを利用できる Amazon Bedrock を使って作る RAG アプリケーション - クックパッド開発者ブログ
こんにちは。機械学習グループの深澤(@fukkaa1225)です。 先日、Amazon Bedrock が一般利用できるよう(GA)になりました 。本記事ではこちらを用いて RAG(Retrieval-augmented generation) アプリケーションを作成してみた様子と、他 LLM モデルとの比較結果についてご紹介します。 Amazon Bedrock とは aws.amazon.com 公式サイトより文言を引用します。 Amazon Bedrock は、Amazon や主要な AI スタートアップ企業が提供する基盤モデル (FM) を API を通じて利用できるようにする完全マネージド型サービスです。そのため、さまざまな FM から選択して、ユースケースに最も適したモデルを見つけることができます。Amazon Bedrock のサーバーレスエクスペリエンスにより、すぐに FM
Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる - NRIネットコムBlog
Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテナイメージからLambda関数を作成するようにします。 docs.aws.amazon.com Dockerfile FROM public.ecr.aws/lambda/python:3.10 # Copy requirements.txt COPY requirements.txt ${LAMBDA_TASK_ROOT} # Copy function
本日はコンシューマチームのブログリレー2日目です。 エムスリーエンジニアリングG コンシューマチームの松原(@ma2ge)です。 今回は以前筆者が M3 Tech Talk で話した AWS Lambda での Web アプリ開発に Rails を使う内容について、 若干内容を変えつつ Tech Blog の方でも紹介をしたいと思います。 最近使っているキーボードの様子 現在のチームで担当している主要なアプリは Rails で書かれていて、ほとんどがコンテナ化され Amazon ECS(ECS) と Fargate を使って運用されています。 そんな中今年の初めに AWS Lambda(Lambda) に適したプロジェクトが話にあがりました。ただ Rails で Lambda しかも Web アプリとなるとあまり採用事例を耳にしません。 とはいえ使い慣れている Rails をそのまま生かし
円安の続く今日この頃。ITmedia NEWSではたびたび触れているが、クラウドサービスの（実質的な）コスト増がさまざまな組織の頭を悩ませている。設定ミスや見落としによる、予期しないコスト超過の危険性も高まる一方だ。 しかし、ミスは常に起こり得る。Google Cloudに特化したSIerのG-gen（東京都新宿区）は11月24日、ちょっとした見落としにより、想定を超えるコストを発生させてしまった顧客の事例を、注意喚起として自社ブログで公開した。その内容が興味深かったので紹介する。 なお、事例に登場する数値には、「顧客の事情」（G-gen）により一部事実と異なるものが含まれているという。ITmedia NEWSではG-genに改めて確認したが、正確な数字は開示できないとのことだったので、改変後の数字をそのまま掲載する。 事件は「Cloud Storage」で起こった 事件は「Google
［速報］AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
AWS テクニカルトレーナーと学ぶ Amazon CloudFront ~ エッジロケーションを使った通信の仕組み - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは ! テクニカルトレーナーの杉本圭太です ! 最近読んで面白かった漫画は「Artiste (アルティスト)」です。 AWS を学習していて「Amazon CloudFront はコンテンツ配信の最適化や高速化をするサービスである」ということは知っているけれど、「どのような通信経路になるのか」や「なぜ近くのエッジロケーションへアクセスできるのか」は理解できていないなと感じる方はいませんか ? というのも、トレーニングを受講していただいた方から「Amazon CloudFront の概要だけは知っていたけど、具体的な動作まで理解できた !」と言っていただくことがあります。そこで他にも多くの方に Amazon CloudFront の学習や利用に役立てていただけるよう、「仕組み」に焦点を当てた解説記事を書いてみました。それでは私が自作した図を交えながら順を追って説明していきます ! ま
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました はじめに 昨年、AWSはSeekable OCI（SOCI）の導入により、アプリケーションの起動と同時にコンテナからデータを非同期にダウンロードするコンテナイメージの遅延読み込みを実現しました。 これにより、コンテナイメージを変更せずにアプリケーションをより速く起動できるようになりました。 今回、SOCIがAWS Fargateにもサポートされました! SOCIは、ECRに保存されているコンテナイメージと同じECRにインデックスを作成しておくことで、イメージ全体をダウンロードせずに個々のファイルを抽出してコンテナを迅速に起動できます。 Amazon ECR リポジトリからイメージをダウンロードする際には、自動的にSOCI インデックスの有無
![[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/985a83259a49c10c9fef990f42efc390ba711740/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-fargate.png)
AWSのコード生成AI「CodeWhisperer」、生成モデルのカスタマイズが可能に。社内の独自ライブラリやAPIを生成コードに組み込める新機能がプレビュー公開
AWSのコード生成AI「CodeWhisperer」、生成モデルのカスタマイズが可能に。社内の独自ライブラリやAPIを生成コードに組み込める新機能がプレビュー公開 Amazon Web Services（AWS）は、コメントやコードの一部からAIがコードを自動生成してくれるサービス「Amazon CodeWhisperer」の新機能として、生成モデルをカスタマイズし、社内の独自ライブラリやAPIなども生成されるコードに組み込むことができる新機能をプレビュー公開しました。 下記はAWS CEO Adam Selipsky氏のツイート。 Exciting news! Amazon CodeWhisperer’s new customization capability is now available in preview! The new feature helps customers to
熱狂の卒業イベントから半年、みんな大好き元AWSの亀田治伸さんがCloudflareのエバンジェリストとして戻ってきた。久しぶりのインタビューは、転職した経緯やCloudflareのサービスや設計思想、ゼロトラストの定義、コミュニティの話まで多岐に及んだ。（インタビュアー ASCII編集部 大谷イビサ 以下、敬称略） ラストワンマイルの課題って意外と解消されていない 大谷：まずは改めてAWSからCloudflareに転職した経緯を教えてください。 亀田：AWSに7年半いて、後半5年はエバンジェリストをやらせてもらいました。クラウドは世の中を大きく変え、これから必須の存在になると私は確信しています。一方で、クラウドに面白さを感じていた人たちがそれなりにシニアになり、イビサさんが先日書いていたようにある程度のイノベーションは出尽くしてきたのも事実です。 こういう時代になり、AWSでも、Goog
原因調査 エラーの発生箇所の特定 このエラーIncorrect datetime valueはデータベースのdatetime columnに対して不正な値を書き込もうとしたことが原因で発生しています。通常のINSERT statementを使って、過去の時刻を書き込むことはほとんどありませんが、MySQLなどに用意されているINSERT … ON DUPLICATE KEY UPDATE statementを使って複数の行を更新するときには、過去の時間を使ったクエリが生成されます。 例えば、複数の消耗品を所持しており、1つのクエリで複数の所持数を変更するときは、下記のようになります。 // PK(user_id, item_id) SELECT * FROM items WHERE user_id = 123; user_id | item_id | quantity | created_
![[Ruby]うるう日の午前0時から9時までに起動したプロセスでのみ再現するサーバー障害](https://cdn-ak-scissors.b.st-hatena.com/image/square/d0bd8110685867c995a35fa0d43a6c9559e4a3cf/height=288;version=1;width=512/https%3A%2F%2Fdeveloper.aiming-inc.com%2Fwp-content%2Fuploads%2F2024%2F03%2F7f32aafa65cc72bf6e5f250261a2d965-e1709625678740-890x500.png)
AWS Lambda Function URLs（関数URL）がCloudfrontのOACに対応したので試す - Qiita
はじめに AWS LambdaのFunction URLs（関数URL）は、Lambda単体でHTTPSのURLを発行し、HTTPリクエストをトリガーにLambdaを実行出来るようになる、非常に便利な機能です。 API Gatewayと統合せずともLambdaのみでWebAPIを構築出来るようになり、プロトタイピングやマイクロサービスに有用です。 関数URLの制限 ところで、関数URLの実行の認可は、IAMを用いた方法しかありませんでした（IAMロールベースの認可か、認可なししか無かった）。 Cloudfrontをリバースプロキシ的に前段に配置し、関数URLと繋ぐことで、ドメインを当てたりキャッシュを活用したり、便利な訳ですが、その際に上記が問題となります。というのは、CloudfrontからIAMベースのリクエストを行うには、Lambda@Edgeを利用するしかありませんでした（オリジン
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
非 Aurora な RDS から Aurora へ移行する時に考えること全部盛り - ゆるっと Tech Blog
Japan AWS Jr. Champions Advent Calendar 23日目の投稿です！クリスマスイブイブですね。 今回は、Aurora でない RDS で稼働している DB を Aurora へ移行することを検討してみます。 現在の データベース 具体的な例があった方が分かりやすいので、移行対象の DB の情報を仮定しておきます。 データベースの情報 利用サービス：RDS (非Aurora) インスタンスタイプ：db.t3.medium (2vCPU/4GiB) ディスク容量：50GiB DBエンジン：MySQL 8.0系 MultiAZ構成 (Active-Standby) リードレプリカなし オンデマンドインスタンス 利用状況 CPU利用量：余裕あり ディスク利用量：余裕あり メモリ利用量：2GiB弱程度で安定推移 システム稼働：時間帯や日による変化はなく、一定した稼働
https://aws-startup-community.connpass.com/event/289498/ Startup Day 2023のセッションスライドです。
はてなブックマークのステージング環境を支える技術 - Hatena Developer Blog
id:cohalzです。この記事ははてなエンジニア Advent Calendar 2023 の29日目の記事です。 28日目の記事は id:SlashNephy さんの おうち Kubernetes クラスタ運用記 ~2023~ でした。 はてなブックマークにおけるステージング環境について紹介します。 はてなブックマークでは現在インフラをAWS上に構築しており、ECSやAurora MySQLのサービスを利用しています。 本番環境と同様にステージング環境も用意していますが、より良いステージング環境(例えば本番環境に近く、変更がすぐ試せて、費用が安い構成)にすることを目指し、いくつか工夫した点があるのでそれらを紹介します。 AWSアカウントの分離 はてなでは複数のサービスを運用していますが、はてなブックマーク単体でAWSアカウントを分けて他のサービスとリソースが同居しないようにしています。
「2024年こそ使いこなす！GraphQL最前線」で発表した資料です。 ソニーのホームエンタテインメント領域では、TVやサウンドバー、ヘッドホンをはじめとする様々な製品、それらに付随するアプリケーションを取り扱っています。我々はホームエンタテインメント領域の横断組織として、それらの製品・アプリに対してクラウドサービスを提供しています。この領域において頻繁に要求される機能の一つに、データ配信があります。従来は製品・アプリの案件ごとにそれぞれ個別にサービスを開発しており、サービス間連携やリソースの共通化など横断組織ならではの利点をうまく発揮することができていませんでした。本セッションでは、この問題を解決すべく開発した共通データ配信プラットフォームについて、そこで活用されているGraphQLという技術との関係について、お話しします。
家族がいると自宅の様子が気になる、けれども監視カメラを設置するのは家族のプライバシー的に行き過ぎた感あり、もう少し緩やかな監視ができないか？と考えた際、照度の変化に着目したソリューションを思いついた。 つまり、家族が帰宅して部屋の電気を付けた、外出のため消灯した、電気を消して寝静まったといった状態の遷移を「照度の変化」によって検知し、スマホに通知する、といった具合だ。 概要 Nature Remo 3は外出先からスマートフォンで家電を制御するためのスマートリモコン製品のひとつであるが、照度や温度センサーが取得した情報を Nature Remo Cloud API によりクラウドから取得できる、という大変素晴らしい特徴がある。 自宅に設置したNature Remoの照度を、AWSのLambda関数により一定時間毎に取得してDynamoDBに蓄積する。前回取得した照度と比べて急激な変化があった
AWSの生成AIサービスである Amazon Bedrock がGAになったので早速使ってみた - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は2023年9月28日に GA となった Amazon Bedrock の紹介と使ってみた感触をお伝えします。 1. Amazon Bedrock とは 2. 利用可能なモデル 3. Anthropic Claude V2 を使ってみた 3.1. Claude とは 3.2. Playground 3.3. 追加設定 4. まとめ 1. Amazon Bedrock とは Amazon Bedrock （以下、 Bedrock ）は AWS 上で使える、大規模言語モデル（ LLM ）の基盤モデルを提供する完全マネージド型サービスです。 2023年9月28日に GA
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon SES のバウンス率が急上昇 〜Amazon SES を止めてしまった日〜
ガバメントクラウドのAWS見積で苦労したポイント10選 - サーバーワークスエンジニアブログ
原因不明だったRDS負荷のスパイクを改善できた話 - Qiita
Amazonが日本に2兆円投資 AI普及でデータ量急増 - 日本経済新聞
goのLambdaはコンテナイメージでよくない? - エムスリーテックブログ
“脆弱性を突くような攻撃を防ぐ”だけではない「WAF」 「AWS WAF」の運用で現場が抱える課題
Blue/Green デプロイを使用した、RDS MySQL/PostgreSQLのアップグレード
フルスクラッチして理解するOpenID Connect (3) JWT編 - エムスリーテックブログ
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
クラウドインフラにおける脆弱性およびメンテナンス情報等の管理・自動化について - Gunosy Tech Blog
優良な学習コンテンツの宝庫「AWS Skill Builder」の始め方 | DevelopersIO
AWS Lambda でも Rails で Web 開発 - エムスリーテックブログ
「Google Cloudのデータ転送で課金爆死」 あるSIerの顧客事例が教訓に満ちていた 失敗の原因は
転職から半年経った亀田さんに聞いたCloudflareのすごいところ (1/4)
[Ruby]うるう日の午前0時から9時までに起動したプロセスでのみ再現するサーバー障害
Claude3を使って人間が読むようにパワポ資料を読み込んでみる | DevelopersIO
AWS月額利用料を$137,000→$87,000に削減して信頼性に投資した話
ソニー: GraphQLを活用したデータ配信プラットフォームの事例紹介
Nature Remo＋AWS＋LINE Notifyで緩やかな自宅監視（１）