AWS Infrastructure as Code の新機能を総まとめ！ 2023.1-2024.52023年1月から2024年5月までの AWS Infrastructure as Code 関連のアップデートを解説しています。JAWS-UG CDK支部 #14 でお話させていただきました。 https://jawsug-cdk.connpass.com/event/317935/
Vertex AI と NeMo Framework で大規模言語モデル（LLM）のマルチノード分散学習を体験する
はじめに 2024年4月3日に、下記の Google Cloud 公式ブログ記事が公開されました。 GKE の NVIDIA NeMo フレームワークで、生成 AI への取り組みを加速 この記事で紹介されているチュートリアル nvidia-nemo-on-gke に従うと、Google Cloud で次の処理が体験できます。 NVIDIA H100 Tensor Core GPU を接続したノードによる Google Kubernetes Engine（GKE）のクラスターを構築する NVIDIA NeMo Framework のサンプルコードを利用して、LLM（Megatron GPT）の事前学習を実行する とはいえ・・・、「わざわざ GKE クラスターを構築するのは面倒なので、Vetrex AI のマネージドサービスだけで LLM の学習処理を体験してみたい！」という方もいるかもしれま
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも！オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl
[プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた | DevelopersIO
[プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた いわさです。 今朝のアップデートで Amazon Bedrock Studio というものがプレビューリリースされました。 Amazon Bedrock Studio は、組織ユーザーに Bedrock のプレイグラウンドや、ナレッジベースやエージェントなどのコンポーネントを使って Bedrock アプリケーションのプロトタイプを作成し、評価したり組織内のユーザーへ共有出来るアプリケーションです。 要は、Amazon Bedrock コンソールの一部機能を IAM Identity Center ユーザー向けに、専用の Web アプリケーション（IAM Identity Center アプリケーション）として提供し
![[プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5fc5d99a3e7a01fd348d908da8951bc0b3ca082b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Famazon-bedrock.png)
AWS CodeBuildでビルド成功時にAmazon Bedrockを使用して褒めてくれる仕組みを作成してみた | DevelopersIO
AWS CodeBuildのビルド終了時に通知することが可能なのですが、Amazon SNSでのメール通知を設定するだけだと無機質なJSONが送られてくるためAmazon Bedrockを使用してビルド成功時に褒めてくれるようにしてみました。 通知ルールの作成 通知に使用するAWSリソース Amazon SNSでAWS CodeBuildのビルド成功通知をAWS Lambdaに行い、Lambda関数からAmazon Bedrockのinvoke_modelを実行してレスポンスのテキストをAmazon SNS経由でメール通知するシンプルな構成としています。 簡易的にはなりますが構成は以下の通りとなります。 作成したコード Lambda関数のコードはPythonで作成しています。 今回はAnthropic Claude 3 Sonnetを使用してメッセージ APIを実行するようにしています。
Amazon Bedrock のプロビジョンドスループットにおける最小請求単位を調べてみた | DevelopersIO
いわさです。 Amazon Bedrock ではモデルをデプロイするための専用キャパシティを確保するためにトークンベースではない時間ベースの「プロビジョンドスループット」という概念があります。 本日時点では米国東部 (バージニア北部) リージョンと米国西部 (オレゴン)リージョンで利用可能です。 料金表には 1 時間あたりの料金単価が記載されています。 なかなかの料金。 そんな中、プロビジョンドスループットの検証を行う機会がありました。 通常のワークロードで使用するのであれば 1 時間以上プロビジョニングすることが想定されそうなので良いと思うのですが、検証の場合は一度きりとか数分とかもう少し短い使用時間の場合があります。 プロビジョンスループットはコミットメントなしでも利用が可能ですが、期間をコミットして割引を受けることも出来ます。 前者の場合は不要になったタイミングでいつでも削除が出来て
Knowledge Bases for Amazon Bedrock を OpenSearch Serverless で試してみる - Qiita
Knowledge Bases for Amazon Bedrock を OpenSearch Serverless で試してみる AWSbedrockKnowledgeBaseForAmazonBedrock はじめに Knowledge Bases for Amazon Bedrock を利用すると、会社のデータなどを利用した RAG を簡単に構成できる機能です。OpenSearch Serverless などのベクトルデータストアと連携して、データの格納、利用などを便利に利用できます。以下のような機能が提供されています。 OpenSearch Serverless の自動作成 S3 上のデータを Embedding して、ベクトルデータストアに自動的に格納 入力したテキストに紐づくデータを、ベクトルデータストアから自動的に取得して、テキストを生成 など 今回は、Knowledge B
AWS Step FunctionsとAmazon Bedrockを用いて生成AIの自動フローへの組み込みを行う - Qiita
前提 AWS Step Functionsとは、ステートマシンを使用してワークフローを構築し、アプリケーションの自動化を実現するサービスです。一方、Amazon Bedrockは、大規模な言語モデルを活用して自然言語処理の機能を提供するサービスです。AWS Step Functionsから Amazon Bedrockを実行することで、ワークフロー機能の中に生成AI機能を組み込むことが可能となっています。 生成AIはチャット機能の形式で使われることが多いですが、実業務の中での利用を考えたときにワークフローや自動化の文脈で活用できると利用の幅が非常に広がると考えられます。そこで今回、以下の記事を参考にしつつAWS上で生成AIを含んだ自動フローの実装を行いました。 参考記事：https://aws.amazon.com/jp/blogs/news/build-generative-ai-app
Agents for Amazon Bedrock の "ユーザー入力" を CloudFromation で有効にする
この内容は執筆時点の2024年4月26日ごろに確認した結果です。きっと、直ぐにもっとスマートな方法が公開されると思います。（してくれ。） HogeHogeAgent: Type: AWS::Bedrock::Agent Properties: AgentName: HogeHogeAgent AgentResourceRoleArn: !Ref AgentRoleArn FoundationModel: anthropic.claude-3-haiku-20240307-v1:0 Instruction: | あなたはユーザーからの質問や要望に対応するエージェントです。 質問には丁寧に回答してください。 AutoPrepare: true ActionGroups: - ActionGroupName: UserInputAction ActionGroupState: ENABLED P
Google Cloud Next ’24 振り返り勉強会でCloud RunとGKEのコスト最適化のRecapを話しました #GoogleCloudNext | DevelopersIO
Google Cloud Next ’24 振り返り勉強会でCloud RunとGKEのコスト最適化のRecapを話しました #GoogleCloudNext ども、 もこ@札幌オフィスです。 少し遅くなってしまいましたが、4月17日に Google Cloud Next '24 の振り返り勉強会である【4/17(水)ハイブリッド】クラスメソッドGoogle Cloud Next ’24ふり返り勉強会 に登壇してきたので、その内容をブログにまとめます。 資料 Cloud RunのアップデートRecap Cloud RunのProduct Ownerの方が喋るセッション、 Cloud Run: What's new に参加したところ、たくさんのアップデート情報を知ることが出来たため、本登壇ではCloud Runの最新情報をRecapしました。本記事でも口頭で話した内容を記載していきます。 V
Heroku PostgresとAWS BedrockとHugging FaceでRAGを作ってみた - Qiita
2023年11月にHeroku Postgresql 15 がpgvectorに対応しました。これによりHeroku Postgresがベクトルデータベースとして利用できるようになりました。 本記事では、最近話題のClaude2.1やText Embeddingと組み合わせ、Heroku Postgres内データを元に生成AIが回答してくれる、 Retrieval Augment Generation (RAG) を試作し、実際どんな回答を返してくれるか？検証してみました。 今回使用したもの 個人的に興味のあるものや、使いやすいものを選びましたので、特にこの組み合わせでないといけないわけではないです。 ■ ベクトルデータベース & ナレッジベース Heroku Heroku Postgres (PostgreSQL) pgvector ※今回の主役！ ■ 大規模言語モデル AWS Bedr
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] はじめに 本記事では、Amazon Connect + Amazon Bedrock + Amazon Lexを組み合わせて、電話での問い合わせ内容を種別判定し、最適な担当者に振り分ける方法と、その精度結果をまとめました。 ユーザーのお問い合わせの種別を判定し、種別ごとに担当者に振り分けるコンタクトセンターでのAIチャットボットによる一次対応を想定し、生成AIであるBedrockのClaudeが種別判定機能を担います。 お問い合わせの種別判定は、以前Amazon Kendraを利用して試しましたが、今回は、BedrockのClaudeを利用してみます。 構成 構成としては、下記の通りです。 以下は、ユーザーがお問い合わせした内容を種別判定し、内容によって担当者に振り分けするまで
![Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/87df14d8322101852bf1ce7d1cd3f121f6b1a7a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2F2024-04-11-cm-hirai-1200x630-1.png)
Claude 3最強のOpusがついにAWSのBedrockに来た！！ - Qiita
Claude 3 Opus、ずっと待ってました！ AWSの生成AIサービス、Amazon Bedrock。 多数の生成AIモデルがAPIとして利用できますが、テキスト生成で非常に高性能なのがAnthropic社のClaude 3シリーズです。 OpenAI社のGPT-4シリーズと日々、追いつけ追い越せを続けています。 Claude 3登場後、3モデルあるうち最上位の Opus モデルだけはなかなかBedrockにリリースされませんでしたが、ついに先ほどオレゴンリージョンに出現したようです！ まだAWS公式リリースはないですが、近日中にWhat's New等でアナウンスされるものと思われます。 ※今回も宇宙最速の発見者はひるたさんでした。いつもありがとうございます🙌 そもそもBedrockって何だっけ？ こちらの資料で紹介していますのでご覧ください！ なお、凄腕Bedrockerの @he
インフラ開発のやり方に変革がもたらされるかも？ InfraCopilotを試してみた - Qiita
InfraCopilotを試してみる インフラ基盤のアーキテクチャ設計のあり方を変えてくれそうなサービスとして最近登場してきた「InfraCopilot」を試しに触ってみたので紹介します。 InfraCopilotとは？ https://infracopilot.io/ ここの公式サイトで紹介されている通り、インフラの構成をエディタ上で描いてIaCのコードを生成してくれたり、設定を調整したりできるツールです。 設定の調整や構成を作る部分を、チャットベースで指示を出してその意図に合わせて構成を調整してくれるといったこともできます。 このサービスのインプットとアウトプットのイメージは以下のようになります。 インプット ブラウザ内のエディタ上でグラフィカルに設計要素を入力 設計要素(リソース)のパラメータは手動で調整も可能 チャットベースで実現したい構成を指示 アウトプット PulumiのIaC
Vertex AI Agent Builderを使ってみた - G-gen Tech Blog
G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 概要 Agent とは Vertex AI Agent Builder とは 料金 概要 試算例 Vertex AI agents 概要 Agents の構成要素 Goal Instructions Examples Tools 概要 Built-in tools OpenAPI tools Data store tools 触ってみた 関連記事 概要 Agent とは 生成 AI アプリケーションにおける Agent とは、人間
Alibaba Cloud Platform for AI の導入とLangChain（PAI-EAS）をデプロイする
AIの世界は日進月歩で進化しており、それを支える技術として各社から様々なプラットフォームが提供されています。AzureのAzure Machine Learning、AWSのAmazon SageMaker、GCPのAI Platformが存在していますが、私が今注目しているのはAlibaba CloudのAIプラットフォーム、Alibaba Cloud Platform for AI (PAI)です。日本ではまだ馴染みの少ないこのプラットフォームがどのようなものなのか、どんな機能を持っているのかを調べてみました。 PAI の特徴 PAIは 2018年から存在しており、2021年4月にはソフトバンクにてPAIの概要が記載されています。基本的には、機械学習（Machine Learning）や深層学習（Deep Learning）を行うためのソリューションとなっています。 使いやすく、コスト
ChatGPTでCFnテンプレートをHCLコードに変換してみた | DevelopersIO
こんにちは。AWS事業本部トクヤマシュンです。 今回のエントリではChatGPTを用いて、AWS CloudFormationで使われるテンプレート（以下CFnテンプレート）をTerraformで使われるHashiCorp Configulation Language(以下HCL)コードに変換してみました。 動機 私はよくTerraformを用いてリソースを構築します。 一方で、AWS公式から提供されるさまざまなソリューションやサンプルはCFnテンプレートの形で提供されることが多いと感じます。 これらをTerraformで構築できたら良いのにと思うことが何度かあったので、ChatGPTを使って簡単にCFnテンプレートをHCLコードに変換できたら色々と捗りそう、と思ったのが今回の動機です。 環境 利用環境は以下の通りです。 ChatGPTのバージョン：GPT-4 変換してみた① まずはシンプ
IaC × AIの新たな可能性：PulumiAI使ってみた。 - Qiita
TLDR 一部界隈で話題になっているPulumiAIを使ってみた。 少し修正は必要だったが、Pulumi AIに入力を与えてから、実際に作りたいAWSの構成が動くまで30分程度だった。 手作業では構築にかなり時間のかかる、込み入ったAWSの構成が簡単に作れ、IaC × AIに未来を感じた。 クラウド上でのプロトタイプ作りがIaC × AIで格段に早くなりそう。 ちょっと触ってみて、いいな、と思ったので簡単に紹介できればと思います。 前提知識 Pulumiって？ IaCツールのひとつです。IaCツールの多くはCloudFormationのように、独自言語で書く必要があり、コーディングが難しいですが、PulumiはPythonやJavaScriptといった言語が使えるので、快適にIaCができます。以下のリンクからインストールできます。 IaCって？ インフラ・アズ・コード（Infrastruc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IaCジェネレーターとBedrockで詳細設計書を生成してみた
Amazon BedrockのEmbeddingsを試しました。（良さげです） - Qiita