AWS 内で大規模言語モデルを利用できる Amazon Bedrock を使って作る RAG アプリケーション - クックパッド開発者ブログ
こんにちは。機械学習グループの深澤(@fukkaa1225)です。 先日、Amazon Bedrock が一般利用できるよう(GA)になりました 。本記事ではこちらを用いて RAG(Retrieval-augmented generation) アプリケーションを作成してみた様子と、他 LLM モデルとの比較結果についてご紹介します。 Amazon Bedrock とは aws.amazon.com 公式サイトより文言を引用します。 Amazon Bedrock は、Amazon や主要な AI スタートアップ企業が提供する基盤モデル (FM) を API を通じて利用できるようにする完全マネージド型サービスです。そのため、さまざまな FM から選択して、ユースケースに最も適したモデルを見つけることができます。Amazon Bedrock のサーバーレスエクスペリエンスにより、すぐに FM
RTMPの2021年以降の話 ~ Adobe Flash以外の動画配信での使われ方 | DevelopersIO
Amazon CloudFrontのようにラストマイルでのRTMPの使用はAdobe Flashのサポート終了とあわせて勇退します。しかしファーストマイルでのRTMPの使用はまだ現役です。動画配信のRTMP使用場面とあわせて確認をしてみました。 はじめに 清水です。以前、AWSのCDN (Content Delivery Network)サービスであるAmazon CloudFrontでRTMPディストリビューション機能が2020年12月31日に廃止されることをお伝えしました。 Amazon CloudFrontのRTMPディストリビューション機能が2020年12月31日に廃止されます | Developers.IO また実際に2021年になってからは、このCloudFrontのRTMPディストリビューションにアクセスできなくなっていること *1 を確認しました。 2020年末日に廃止が告
Amazon VPCを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで本記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい！」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
AWS,Azure,GCPの3大クラウドのアーキテクト試験に合格してみての個人的比較 - Qiita
3大クラウドと呼ばれてる（はず）のAWS、Azure，GCPについて、それぞれ一番中心となるだろうアーキテクト試験を取得してきたので、個人的な感想や比較を書きたいと思います。 AWS Solution Architect Professional Azure Solutions Architect Expert GCP Professional Cloud Architect 3つを受けてみると、各社の色が現れていて面白かったです。 以下、個人的かつ定性的な評価となります。 ※3大クラウドのDevOps試験についてはこちらに記事書きましたので良かったらどうぞ https://qiita.com/yomon8/items/4c223b51a04d0b1feeeb 3試験で共通していること IaaSが半分、残りをPaaSをSaaSを組み合わせたような出題分野で、所謂インフラ寄りですね。開発知識
Go CDK
The Go Cloud Development Kit The Go Cloud Development Kit (Go CDK) is an open source project building libraries and tools to improve the experience of developing for the cloud with Go. Go CDK provides commonly used, vendor-neutral generic APIs that you can deploy across cloud providers. The idea is to support hybrid cloud deployments while combining on-prem (local) and cloud tools. This project al
Terraform と Ansible で勉強会用の環境を自動構築してみた話 | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください お久しぶりです。サイオステクノロジー OSS サポート担当の鎌田です。 最近、業務で使用する PC が Windows 機から Linux 機に変わり、だいぶいい感じに仕事ができるようになりました。このあたりについては、改めてブログ記事にしていこうと思っています。 さて、当社では OSS よろず相談室をご契約いただいているお客様向けに定期的に勉強会を開催しています。当社のエンジニアが講師としてお客様の方々に有用な情報をお伝えできるような勉強会を企画、開催しているのですが、この中にハンズオン形式での勉強会も開催することがあります。
Amazon Personalize – すべてのユーザにリアルタイムパーソナライゼーションとレコメンデーションを | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon Personalize – すべてのユーザにリアルタイムパーソナライゼーションとレコメンデーションを 機械学習は、間違いなく広範囲にわたって取り組むべき魅力的なトピックを提供してきましたが、パーソナライゼーションやレコメンデーションほどのものはありません。 一見、ユーザーと好みのアイテムをマッチングするのは簡単な問題のように聞こえるかもしれません。しかしながら、効率的なレコメンデーションシステムを開発するのは難易度が高く、数年前にNetflix が 1 億円相当の懸賞金をかけて映画レコメンデーションコンクールを実施したほどです！事実、現時点でリアルタイムなパーソナライゼーションの仕組みを構築・最適化し、デプロイするには、分析・応用機械学習・ソフトウェアエンジニアリング・システム運用に特化したエキスパートが必要になります。ほとんど
AWS X-Ray による ISUCON8 本選問題の解析 - 酒日記 はてな支店
ISUCON8 の本選問題は、競技者がコントロールできない外部 API 呼び出しを多数含んだ出題内容でした。 講評では、 サービスの特性を適切に分析した上で、まとめるところはまとめたり、遅延させるところは遅延させるなど ……とさらっと書かれていますが、実際そんなことを短時間で分析することは可能なのかよ！という話題が競技後の懇親会でもあったので、それ AWS X-Ray でできるよ、というエントリをまとめておきたいと思います。 今回の解析は Perl 版の初期実装に対して行ったものですが、なぜ Perl かというと AWS の公式 SDK にない X-Ray 関連の CPAN モジュールを自分が書いているので、その宣伝も兼ねています。(blogエントリ書いてなかった) AWS::XRay Plack::Middleware::XRay Devel::KYTProf::Logger::XRay
10分でわかる！Key Management Serviceの仕組み #cmdevio | DevelopersIO
こんにちは、虎塚です。 先日のCM re:Growth Developers.IO Meetup 11 Tokyo で「10分でわかるKey Management Serviceの仕組み」という発表をしました。今日は、イベントに参加されなかった方がご覧になっても内容が伝わるように、発表内容を記事に起こしてみました。 はじめに Key Management Service（KMS）は、先月開催されたre:Invent 2014で発表された新サービスです。すでに全リージョンで利用できます。このサービスを使うと、データの暗号化/復号用の鍵をAWS上で管理できます。 ところで、KMSのAPIドキュメントを流し読みすると、マスターキーとデータキーという言葉が出てきます。そうです、KMSが扱う鍵は2種類あるんですね。 2つの鍵の違いは何か？ どう使い分けるのか？ などが、ぱっと見ではわかりづらいかもし
AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
[CDP] インターネットアクセス（アウトバウンド）パターン | DevelopersIO
はじめに CDP（Cloud Design Pattern）ではOnDemand NATパターンをはじめとするインターネットアクセス（アウトバウンド）の解決法が提案されています。しかしながら、イントラネットとクラウドをVPN接続した環境では、一般にPrivate Subnetのデフォルトゲートウェイ（0.0.0.0/0）はプライベートアドレス空間のVPNゲートウェイに設定されているおり、単純にPrivate Subnetのデフォルトゲートウェイ（0.0.0.0/0）をNATインスタンスにルーティングできないケースも存在します。以降、インターネットアクセス（アウトバウンド）の課題に対する解決策・システムアーキテクチャ設計として、以下の４つのパターンを解説します。 インターネットアクセス（アウトバウンド）必要とされる背景 インターネットアクセス（アウトバウンド）は、以下の一般的な要件を鑑みると
![[CDP] インターネットアクセス（アウトバウンド）パターン | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/159aae9aca8c6edf2f9802a0b5ceac5fe829ed41/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F07%2Fcdp.png)
AWSの複雑な仕組みをTerraform化で紐解く事例 | 外道父の匠
インフラエンジニアも、そうでないエンジニアも、程度の差こそあれAWS（パブリッククラウド）の知識は欠かせないものになりつつあります。しかしながら、食わず嫌いだけならまだしも、AWSにそこそこ取り組み続けているのに、しばしば嫌気がさすことすらあるのは、AWSの複雑さが原因の１つであるといっていいでしょう。 今回は、そんな複雑な仕組みの一つを、Terraform用にコード化することでココロのスキマ、お埋めします。 Infrastructure as Code の過程 Infrastructure as Code によって、手動管理をやめて自動化することのメリットは言うまでもないですが、今回は自動化する過程にこそ非常に大きなメリットがある、という視点にスポットを当てていきます。 AWSは多機能で便利であるがゆえに、複雑です。そして、複雑であるがゆえに、お客さんに簡単に扱ってもらえるよう、操作が簡
面倒な外部コマンドをAWS Lambda化して運用から解放される - pixiv inside [archive]
最近は社内でChainerやTensorFlowのハンズオンをしている@edvakfです。 今日は機械学習ではなく、AWS Lambdaの話です。 pixivのPDF生成機能 pixiv小説には自分の投稿した小説を印刷可能な縦書きPDFに変換する機能があります。 inside.pixiv.net 小説をPDF化する部分は最初インターン生が作ったものが元になっていて、C++で書かれています。そのプログラムに渡すデータを用意する部分はというと、これまたインターン生が作ったpixiv-novel-parserと、小説本文を組版に最適な形式に自動変換するhakatashi/osekkaiいうNode.jsのプログラムを使って生成しています。 サービスにC++のコードを導入するのって勇気がいりますよね？ もし入力ファイルによって任意のコードが実行できる脆弱性があったりすると大問題です。そのため、この
![面倒な外部コマンドをAWS Lambda化して運用から解放される - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9496bef0e8db150e37c1403e7193cb21de58f330/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fe%2Fedvakf%2F20160610%2F20160610220805.jpg)
EC2拡張ネットワーキングの性能と設定手順 | 外道父の匠
AWS VPC内のLinuxでは、拡張ネットワーキング（Enhanced Networking）という機能が使えます。利用条件はあるものの、この機能を有効にするだけでネットワークが速くなるので有用なのですが、何がどれくらい速くなるのか気になったので計測してみました。 この機能自体は2013年末に発表されたものなので、目新しくはないです。ただ、公式の説明やその辺の情報を調べても、イマイチ情報がわかりやすくまとまっていない部分があったので、設定についてもまとめ直してみました。 デフォルトと拡張ネットワーキングの性能比較 この機能のON/OFFによって、変化するのは通信のレイテンシであり、最大Bandwidthが変わるわけではありません。また、インスタンスタイプによってレイテンシの変化量が変わるわけでもありません。 そのため、ここで載せるのは１つのインスタンスタイプにおいて、バージョン違いを含め
マーケティング担当者にSQLを完全マスターさせた話 - Qiita
普段開発とかしない人達にもデータベースに簡単に触れられるようにしたお話です． 安全なデータベースを作る 本番サービスのデータベースと同等，だけど個人情報的なものは隠しておきたい，よく聞く話ですね． これについては様々なアプローチがあるようですが，できる限り安定させたい＆バッチでやるにしてもサーバの面倒を見たくない，とう方針のもと，RDSのスナップショットを利用して作成することにしました． 処理の流れ RDSが1日1回スナップショットを取っている(これはRDSの機能) RDSのスナップショットが取られると，RDSからイベント通知が投げられるので，SNS→SQSへ届くようにしておく(これもRDSの機能) CloudWatchでSQSのキュー数を監視するようにしておき，キューが1つ以上になると処理用のインスタンスを立ちあげる設定にしておく(CloudWatch，AutoScalingの機能) イ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: AWSではじめる クラウド開発入門: 真野智之: Digital Ebook Purchas
GitHub - moriyoshi/aws-iam-emulator: A tiny application that emulates a small set of AWS IAM API.
GitHub - bennybauer/serverless-python-sample: A simple serverless python sample with REST API endpoints and dependencies
GitHub - hashicorp/best-practices
