2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成
awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
AWS Configのコストを95%削減しつつ記録を残すことを諦めない - Nealle Developer's Blog
はじめに SREチームの大木( @2357gi )です。 ECS Serviceのオートスケーリングやバッチなど、ECS Taskの起動停止が頻繁に行われる環境でAWS Configを有効にしていると、AWS Configのコストが無邪気に跳ね上がってしまうことがあります。 インターネット上では特定のリソースを対象外にすることによりコストを抑える手法が多くの記事として見かけますが、対象外にするとAWS Config側で「リソースタイムラインの表示」ができなくなったり、Security hubで使用する情報の記録を行うことができなくなってしまいます。 そこで、特定のリソースを「記録から除外」するのではなく、「日時記録に設定」することにより前述した懸念点を解消しつつ、コスト削減をすることができたので紹介します。 経緯 我々のプロダクトでもサービスのスケールや機能拡大に伴い AWS Config
はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
Amazon S3の空のバケットに対してアクセスされると、たとえそれが第三者からの不正アクセスでエラーが返ったとしてもリクエスト料金が発生してしまうという現象について、AWSが修正を完了したと5月13日付けで明らかにしました。 これまでは空のバケットへのアクセス方法を知っている第三者が大量のリクエストを発行した場合、例えその結果「AccessDenied」（HTTP 403 Forbidden） エラーが返ったとしても、バケットの所有者には大量のリクエスト処理による利用料金が請求されてしまうという問題が発生していました。また、実質的にこれを防ぐ方法はないとされていました（AWSのドキュメント）。 4月30日にあるAWSユーザーのブログによってこの現象が明らかになった後、AWSのエンジニアは直ちに修正作業に入ったことが同社のチーフエバンジェリストであるJeff Barr氏によって示されました
【2024年】AWSアカウントの rootユーザーでしかできないことをまとめてみた | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、rootユーザーでしかできない操作を知りたいと思ったことはありますか？私はあります。 rootユーザーとは、AWSアカウントを作成した際に自動的に付与される最も権限の高いユーザーアカウントのことです。 rootユーザーには特別な権限があり、一般ユーザーアカウント(IAMユーザー)ではできない操作が可能です。 しかし、rootユーザーだと非常に強い権限を持っているので、基本的にAWSを利用する際はIAMユーザーを利用することがベストプラクティスとされています。 AWS アカウントのルートユーザーのベストプラクティス - AWS Identity and Access Management rootユーザーの認証情報が必要なタスクがある場合を除き、AWS アカウントのrootユーザーにはアクセスしないことを強くお勧めします。 また弊社AWS
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
AWS CLIの起動が重くてつらいので aws-sdk-client-go を書いた / kamakura.go#6
kamakura.go #6 でのLT資料です https://kamakurago.connpass.com/event/316438/ https://github.com/fujiwara/aws-sdk-client-go
Best practices for using the Terraform AWS Provider - AWS Prescriptive Guidance
Michael Begin, Senior DevOps Consultant, Amazon Web Services (AWS) May 2024 (document history) Managing infrastructure as code (IaC) with Terraform on AWS offers important benefits such as improved consistency, security, and agility. However, as your Terraform configuration grows in size and complexity, it becomes critical to follow best practices to avoid pitfalls. This guide provides recommended
AWSコスト異常検知を導入したら、『人にお願いする』トイルが発生したのでSlackBotを作って解消した - KAYAC engineers' blog
SREチームの池田(@mashiike)です。SRE連載の５月号になります。 AWSのコストについては、多くの方がすごく気にしていると思います。 カヤックでもAWSのコストの変動に関しては敏感に気にしています。 そんな方々の心のお供になる機能が、 AWSコスト異常検知(AWS Cost Anomaly Detection) です。 今回は、このコスト異常検知にまつわるトイル削減の取り組みを紹介します。 背景 AWSコスト異常検知は、AWS マネジメントコンソールの中では『Billing and Cost Management』配下にある機能になります。 この機能を使うことでAWSで発生したコストに関して、通常とは異なるコストの発生を検知することができます。 コスト異常検知自体については、CureApp テックブログ様のZennの記事がわかりやすくまとまっているので、そちらを参照いただければ
Self-hosted GitHub Actions runners in AWS CodeBuild を試す
CodeBuild プロジェクトを使用して Webhook を設定し、GitHub ACtions ワークフローの yaml を更新して CodeBuild マシン上でホストされているセルフホストランナーを使用できる GitHub への認証は PAT か OAuth App を使う まとめというかわかったこと ※間違ってることや、こうすればいいよなどがあったらコメントください。 良かった点 セットアップは楽 ephemeral である 起動時間は EC2、Lambda 共に 1 分程度だった 個人的には十分速い マネージドイメージに加えて Docker カスタムイメージを指定可能 jobs.<job_id>.runs-on に -<image>-<image-version>-<instance-size> を追記すると、設定不要で様々なアーキテクチャのイメージを使える jobs.<job
Playwrightを使ったE2Eテストを導入した話 - インフラ編 Playwright × Allure Report × AWS - Uzabase for Engineers
はじめに こんにちは。ソーシャル経済メディア「NewsPicks」の QA/SET チームの海老澤です。 先日は Playwright を使ったE2Eテストの導入について、紹介させていただきました。 今回は作成したテストをAWS 基盤上で動かす方法を紹介させていただきます。 前回の記事 tech.uzabase.com E2Eテスト実行のタイミング NewsPicksでは 下記のタイミングで E2Eテストを実行させています。 ①リリース時のカナリーデプロイ後 NewsPicks ではカナリーリリースを採用していてカナリーへのデプロイが完了した後、カナリーに向けてE2Eテストが動きます。 ②開発環境デプロイ後 動作確認をしたい場合に feature ブランチなどでデプロイ後 E2Eテストを実行できるようにしています。 本記事では主に 「②開発環境デプロイ後」 を例に紹介します。 実行方法 具
AWSを使用したアプリケーションのローカルテスト
AWSを使用したアプリケーションのテスト方法 AWSを使用しているアプリケーションの開発時に問題となるのは、どのようにテストを実施するかという問題が発生します。 この時の選択肢は次の通りとなります。 単体テスト時にAWSのモックを作成してテストを行う AWS上にテスト用の環境を用意してテスト時に接続してテストを行う LocalStackを使用してローカルにAWSサービスのエミュレーターを動かしてテストする 単体テスト時にAWSのモックを作成してテストを行う 単体テスト時にモックアップする方法はテストに都合のいいデータを返せるため容易にテストが行えます。 モックの作成に手間がかかりますし、思い込みでモックを作成してバグを作成する場合もありますが、Motoなどを用いることでこれらの問題は軽減できるでしょう。 ただし、あくまで単体テストでしか使用できません。例えば複数プロセスを連携するようなテス
AWS Infrastructure as Code の新機能を総まとめ！ 2023.1-2024.5
2023年1月から2024年5月までの AWS Infrastructure as Code 関連のアップデートを解説しています。JAWS-UG CDK支部 #14 でお話させていただきました。 https://jawsug-cdk.connpass.com/event/317935/
昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発行・交換する必要があります。クラウドプロバイダーが動的に発行する等さまざまな方式がありますが、システムの制限や運用によっては安全なシークレットの取り扱いのために、慎重な技術設計が必要になる場合もあります。 今回は、LayerXにおける要件パターン、脅威モデリングに基づく判断と実装方法を紹介することで、「どこまで気をつけるべきか？」「何を想定すべきか？」といった実務に対して参考いただけると嬉しいです
2023年5月のGW明け、AWS日本法人のオフィスでは、8月末を退職日とするレイオフを伝える会議が、一斉に行われていた。その1年ほど前に営業職で中途入社したA氏（30代）も、その対象となった1人だった。「驚いたのが、2022年4月入社の新卒組までレイオフ対象になったこと。『それはねーよ』と、社内で話題になっていました」。東大生の就職先としてもランキング上位に入るアマゾン・ウェブ・サービス（2022年3月卒の院卒者で11人、19位＝東大新聞調べ）。だが、新卒でもわずか1年という中途半端なキャリアでレイオフされ市場に放り出されるのが、ドライな外資である。 Digest 出席必須〝レイオフ通告辞令〟会議への招待 「応じなければPIP」はなかった LINEグループ情報交換で分かったこと 1年以内が対象に…「それはねーよ」 「米国本社直轄部門所属」というガチャ レイオフ「数百人～500人規模だと思う
OCIについて知らない方向け AWSは知ってるがOCIを知らないという方は取り急ぎ以下のようなページを読むとイメージが掴みやすいかと思いますのでリンクを貼っておきます。 本件では細かい用語の違いなどの説明は省略します。 OCIへの移行理由 今回移行した理由はコスト削減が最大の理由でした。 オンプレからAWSに移行したのは3年前の2021年2月で当時のドル円相場は約106円でした。 2021年のAWS移行当時、RDSのReserved InstancesとEC2のSavings Plansを3年で購入していました。（通常は1年などで購入されるケースの方が多いと思いますが、歴史のあるサービスなので急激なリソースの増減はあまり無さそうではと考えたためとなります。結果としては円が強いタイミングで安く買えて助かりました） 移行を検討し始めたのはRI/SPが切れる1年前くらいで、その時点のドル円レート
米Broadcom（ブロードコム）による米VMware（ヴイエムウェア）買収の影響が、パブリッククラウドに波及している。影響が出たのは「VMware Cloud on AWS」で、米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）が同サービスを新規に販売できなくなった。 ブロードコムのホック・タン社長兼CEO（最高経営責任者）が2024年5月6日（米国時間）に同社の公式ブログで発表した。タン社長兼CEOはブログで「VMware Cloud on AWSが無くなるとの誤った報道がある」と主張した上で、「VMware Cloud on AWSを、AWSが直接販売したり、AWSのチャネルパートナーが販売したりできなくなるのが事実だ」と述べた。 VMware Cloud on AWSはブロードコムが販売 AWSと旧ヴイエムウェアが2016年に発表して2017年からサービ
初めてAWSを使うときのセキュリティ覚書〜利用者編〜 | コラム | クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
しばらくDevelopersIOから出張してクラソルにも投稿します。 今回はこれからAWSを使う方や使い始めた方向けに、AWSセキュリティで絶対に覚えておく必要があることを解説します。 この記事を読んでいただければ、自信を持って安全にAWSを利用し始められます！ 1.前置き〜AWSは安全？〜 みなさんはAWSやクラウドを利用する際のセキュリティに対してどんな印象をもっていますか？ 「なんだかよくわからないけど不安だ」と感じている方、いい感覚です。初めて扱う技術を怖く感じることは正常な感覚です。しかし、過剰に怖がりすぎるのは違いますね。 逆に「AWSやクラウドは安全だからセキュリティを気にせず使って大丈夫だ」と感じた方は少し危険かもしれません。自らの正確な知識と正しい根拠がないまま勝手に安全だと信じることは正常な感覚ではありません。 いずれの場合も、AWSやクラウドについてこれから学習してい
feature flag管理にAWS AppConfigを導入した - Cluster Tech Blog
昔のflag管理 AWS AppConfigの導入 feature flagの管理 feature flagの利用 まとめ ソフトウェアエンジニアの浦川です。 clusterではサービス開発にfeature flagが活用されており、常時10+個程度のflagが並行して使われています。 これまでflagはgoのコードとしてハードコードされていたのですが、AWS AppConfigを利用してコードを修正することなく動的に変更できるようにしました。 昔のflag管理 ハードコードされたflagは1つのstructにまとめて定義されていて // feature flagを集めたもの type FeatureFlag struct { IsAvatarXxx bool // アバターを良い感じにする IsEventXxx bool // イベントを良い感じにする // (大量のフラグ) } app
AWS導入事例: TOPPAN ホールディングス株式会社
凸版印刷からグループ組織の再編によって持株会社へと生まれ変わった TOPPAN ホールディングス株式会社。システム基盤のモダナイゼーションを重要テーマに掲げる同社は、DX 推進基盤として SAP S/4HANA を導入。SAP がアマゾン ウェブ サービス（AWS）上でマネージドサービスとして提供する SAP HANA Enterprise Cloud を採用しました。グループ会社の経営情報をクラウド上で一元管理することで、データドリブン経営の実現を目指しています。 1900 年の創業以来、120 年以上にわたり印刷テクノロジーを進化させてきた TOPPAN グループ。2021 年 4 月に発表した中期経営計画に基づき、事業ポートフォリオの変革を進めながら、DX と SX（Sustainable Transformation）をグループ全体で推進しています。「TOPPAN グループが目指す
【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 こんにちは。ソリューションアーキテクト (以下 SA) の高野です。 2024 年 4 月 25 日に「AWS 春の Observability 祭り 2024 〜Observability 獲得までの旅〜」と題したイベントを開催しました。昨年秋に実施させていただいた AWS 秋のObservability 祭り以来の Observability をテーマにしたイベントになります。ご参加いただきました皆様には、改めて御礼申し上げます。昨年の開催報告ブログはこちら。 本ブログでは、その内容を簡単にご紹介しつつ、発表資料を公開致します。今回は、Observability の獲得プロセスをテーマに様々なセッションを行いました。Observability 獲得の全体像
インターネットからの野良リクエストがどれぐらい AWS WAF のマネージドルールに一致するのか確かめてみた - 電通総研 テックブログ
こんにちは。コーポレート本部 サイバーセキュリティ推進部の耿です。 Web サービスへの攻撃を防ぐために WAF を使いましょうというのはよく聞きます。 ではインターネットに公開した Web サービスに送信される悪意のあるリクエストがどれぐらい WAF によって防御され得るのでしょうか？ お手軽に使える AWS WAF のマネージドルールを対象に確かめてみました。 この記事の概要 実験用に固定レスポンスを返すだけの HTTP エンドポイントを作成し、約半年間インターネットからアクセス可能な状態で放置した AWS WAF のマネージドルールをアタッチしており、それぞれのルールに一致したリクエスト数を集計し、ランキング形式にまとめた 一致したリクエスト数が多いマネージドルールそれぞれに対して、どのようなリクエストが多かったのか集計し、ランキング形式にまとめた 実験用システムの構成 基本的なデー
AWS App Runner 振り返り 2023～決別・ECSを使うぞ～ - koudenpaのブログ
AWS Containers Advent Calendar 2023の4日目です。 qiita.com AWS App RunnerはAWSで手軽にコンテナを動かせるサービスで、2021年にGAしてから緩やかに使用しつつ所感を書いてきた。 AWS App Runner はおもちゃなのでそれ以上の用途には使ってはならない - koudenpaのブログ Laravel を AWS App Runner で動かしてみる - koudenpaのブログ AWS App Runner 振り返り 2022 - koudenpaのブログ 去年のAWS App Runnerのカレンダー | Advent Calendar 2022 - Qiitaではサービス内容の振り返りをしたのだが、今年は記事のタイトルにも書いた通りApp Runnerを自分の中でどう位置付けたのかの整理記事とした。正直サービス内容には
IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
2024/05/05 JAWS-UG初心者支部#60 初心者向けLT大会 https://jawsug-bgnr.connpass.com/event/316727/
クラウドやAWSは障害が多いイメージありますが？と聞かれた時【ガバメントクラウド】 - サーバーワークスエンジニアブログ
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 4月からガバメントクラウドのBLOG記事を書き始めましたが、応援いただいた有志の方にアイキャッチ画像を作っていただきました。とてもうれしく、今回からこちら画像を利用させていただきます。ドキュメンタリー番組のタイトルっぽくてイイ感じです 本BLOGでは、過去にあったAWSの大規模障害とその影響、対策についてご紹介させていただく内容となります。 弊社お客様よりよくお尋ねされるのが「クラウドって障害がよくあるイメージありますが、AWSだと過去どんな障害ありました？」というものがあります。 ガバメントクラウドへの移行に向けて、地方自治体のご担当様も同じ不安をもたれたり、人から説明を求められることも多いのではないでしょうか。 もし過去にあった障害がガバメントクラウドAWS上で再度起こった場合、地方自治体様の
Broadcom、AWSによる「VMware Cloud on AWS」の販売が終了したと発表 「サービスはなくならない」
Broadcom、AWSによる「VMware Cloud on AWS」の販売が終了したと発表 「サービスはなくならない」 AWS上のVMwareサービスである「VMware Cloud on AWS」は、今後AWSや同社のパートナーから販売されないことが明らかになった。Broadcom CEOのホック・タン氏は、サービスがなくなるわけではないと述べている。
2024 年 4 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 | Amazon Web Services
Amazon Web Services ブログ 2024 年 4 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 2024 年 4 月に公開された AWS Black Belt オンラインセミナーの資料及び動画についてご案内させて頂きます。 動画はオンデマンドでご視聴いただけます。 また、過去の AWS Black Belt オンラインセミナーの資料及び動画は「AWS サービス別資料集」に一覧がございます。 YouTube の再生リストは「AWS Black Belt Online Seminar の Playlist」をご覧ください。 Amazon QuickSight 埋め込みオプションとタイプのご紹介 Amazon QuickSight の埋め込み機能を使うことで、アプリケーションやウェブポータルに Amazon QuickSight のインタラクティ
AWSの生成AIアシスタント「Amazon Q」、開発支援「Q Developer」やアプリ自動構築「Q Apps」を提供 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 新製品・サービス ＞ AWSの生成AIアシスタント「Amazon Q」、開発支援「Q Developer」やアプリ自動構築「Q Apps」を提供 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [新製品・サービス] AWSの生成AIアシスタント「Amazon Q」、開発支援「Q Developer」やアプリ自動構築「Q Apps」を提供 2024年5月2日(木)日川 佳三（IT Leaders編集部） リスト 米Amazon Web Services（AWS）は2024年4月30日（米国現地時間）、生成AIアシスタント「Amazon Q」の一般提供を開始したと発表した。ソフトウェアコードを自動生成して開発作業を支援する「Amazon Q Developer」、ユーザーのデータ活用
CloudWatch Logsのロググループ名とログストリーム名の命名規則を一部のAWSサービスに限りまとめてみた | DevelopersIO
はじめに マルチアカウント構成において、アカウント発行後にCloudFormationを使ってアカウントのベースライン(セキュリティ、ネットワーク、ログ等)を構築することがよくあります。 その際、AWSサービスごとに1つのロググループをベースラインで作成するか、メンバーアカウント側で必要に応じてロググループを作成するかを検討する必要があります。 1つのロググループに複数のリソースのログを集約する方法と、リソースごとにロググループを作成する方法には、それぞれメリットとデメリットがあります。 1つのロググループを集約する メリット 管理するリソースが減る 手動で作成する手間が減る ログをクエリする際、関連するログが1つのロググループにまとめられていると効率的になることがある デメリット １秒間のログイベント書き込みには制限があるため、エラーになる可能性がある 各リソースごとに識別できるログスト
新規プロダクト開発にサーバレスアーキテクチャを採用 Works Human IntelligenceはERP市場 人事・給与業務分野 シェアNo.1[1]を獲得しているエンタープライズ向け統合人事システム「COMPANY」の開発、販売、サポートを行っている企業である。Works Human Intelligenceによると、COMPANYは国内大手法人の3社に1社にあたる約1200社が導入しており、約510万人の人事データを管理している。同社ではこの膨大な人事データを活用し、より顧客にとって価値のある製品や機能の開発に取り組んでいる。その一つが齋藤氏の紹介する「COMPANY Human Capital Insight（HCI）」である。HCIはCOMPANYやその他外部のシステムと連携し、人事データなどのあらゆるデータを集約。そのデータを元に男女間賃金差異や女性管理職比率などの人的資本に
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の50日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマはワークフローを制御する『AWS Step Functions』です。 AWS Step Functionsの概要 AWS Step Functio
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available - AWS
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available Today, AWS announces the general availability of Amazon OpenSearch Service zero-ETL integration with Amazon S3, a new efficient way for customers to query operational logs in Amazon S3 data lakes eliminating the need to switch between tools to analyze data. Customers can quickly get started by installing out-of-the-box das
関連キーワード Amazon Web Services | 人工知能 | Amazon クラウドサービスベンダーのAmazon Web Services（AWS）が再び人員整理に取り組む。この決定の影響を特に受けるのは、トレーニングや認定資格、販売などの業務に携わる従業員だとみられる。従業員は2024年4月3日（米国時間）、社内のメールで人員削減を知らされたという。2023年にも大量の人員削減に踏み切っている同社は、なぜ人員を削減するのか。 大量解雇の背景にあるものとは 併せて読みたいお薦め記事 レイオフに動じないITエンジニアになる 「首なんか怖くない」という境地に達するための“退職準備リスト”はこれだ IT業界の謎 “レイオフ祭り”なのに雇用絶好調なのはなぜ？ 米国のニュースサイト「GeekWire」の報道によると、AWSは数百人の従業員を解雇した。GeekWireの記事では、AWSが
IAM Identity Centerでもaws-vaultでセキュアにAWS CLIを使う - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、トリュフナッツにハマりビール🍺の消費量が増えています。 AWS CLIを使用する時にaws-vaultは使っていますか？ AWSのユーザ管理をAWS IAM Identity Centerに移行した際にaws-vaultの設定でつまずいたので解決方法を紹介したいと思います。 AWS IAM Identity Centerとは？ 複数の AWSアカウントやアプリケーションへのワークフォースのアクセスを一元管理するためのサービスです。外部IDプロバイダーと接続しSSO（シングルサインオン）連携をすることができます。ニーリーではGoogle Workspaceと連携させGoogleアカウントでログインできるようにしています。 aws-vaultとは？ aws-vaultはAWS CLIを使用する際の認証情報を安全に保存し、アクセス
日本IBM、国内のAWS特化SIerを買収 狙いは
日本IBMは5月29日、AWSなどでのシステム開発を手掛けるスカイアーチネットワークス（東京都港区）の買収に向けた最終契約を締結したと発表した。これにより、スカイアーチネットワークスやそのグループ会社の一部が日本IBMの子会社となる。 日本IBMは買収の狙いについて「日本におけるクラウド市場規模は、2027年には2022年比約2.3倍の13兆2571億円になると予測されており、PaaS利用企業のうちAWSを利用している企業が6割を占めている。年々増大する需要に対し、AWS環境構築や運用監視などAWSに特化した専門人材の強化が必須であると考えていた」と説明。 買収後の動きについては「スカイアーチネットワークスはIBMにおけるAWS専門組織の一員として、基幹システムのモダナイゼーションの推進、AWS環境でのSaaSの活用（SAP on AWSなど）を通じて、日本でのAWSプレミアティアパートナ
【初心者向け】AWS Systems Managerの変更管理を試してみた【後編】 - APC 技術ブログ
目次 目次 はじめに 概要 Change Calendar Change Manager 前提 試してみた Change Calendar カレンダーイベントの作成 カレンダーとオートメーションの連携 Change Manager テンプレート作成 変更リクエスト作成 おわりに お知らせ はじめに こんにちは、クラウド事業部の山下です。 AWS Systems Managerの機能の中で、「変更管理」のカテゴリに分類される4つのサービスについて調査・検証を行いました。 後編ではChange CalendarとChange Managerの概要と設定手順について記載します。 前編ではオートメーションとメンテナンスウィンドウの機能について紹介しています。下記記事をご参照ください。 techblog.ap-com.co.jp 概要 Change CalendarとChange Managerとは
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
空のS3バケットでAWSの請求額が爆発的に増加するとの指摘、Amazonはさっそく問題に対処すると発表
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
Amazon S3が不正なリクエストでも利用料が加算される現象、AWSが修正を完了したと報告
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
AWSだ! Google Cloudだ! Azureだ! 認証連携だ！
AWS、新卒2年目もレイオフ断行に「それはねーよ」――『入社1年以内』『米国直轄部門』中心にバッサリ指名解雇
AWS から OCI に移行してコストを約半額にした話 - Qiita
ブロードコムのVMware買収の影響がパブリッククラウドに波及、AWSに異変
AWS CDKでサーバレスのローカル開発環境を構築した理由とは？ デメリットの解消方法と実運用で直面した課題
AWS入門ブログリレー2024 〜AWS Step Functions編〜 | DevelopersIO
SBI証券が国内株取引システムをAWSクラウドに移行、「AWS CDK」「AWS FIS」などの活用で内製エンジニアリングを強化
AWSが「1年ぶりの大量解雇」に踏み切った理由