Amazon Kendra の Custom Document Enrichment と Amazon Bedrock で画像検索に対応する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S
AWS CLI のいろんな認証方式
はじめに AWS CLI を使用する場合、接続先の AWS アカウントに対して認証を行う必要があります。この認証方式には以下のような条件により複数のパターンが存在しており、覚えるのが少しめんどうです。 MFA の要否 スイッチロールの要否 IAM ユーザー Or AWS IAM Identity Center（旧 AWS SSO）を使用した SSO ユーザー 毎回設定方法を調べるのがツラくなってきたので、よく使用するパターンをまとめておこうと思います。なお、MFA を有効化していない環境はさすがにもう見なくなったので省略します。まだ MFA を有効化していない方はいますぐ設定しましょう👍 認証パターン別 AWS CLI プロファイル設定方法 比較的よく採用される認証パターンについて、AWS CLI の名前付きプロファイル設定とコマンド実行のサンプルをまじえて紹介します。 IAM ユーザー
AWS announces the general availability of Amazon EC2 C7i-flex instances that deliver up to 19% better price performance compared to C6i instances. C7i-flex instances expand the EC2 Flex instances portfolio to provide the easiest way for you to get price performance benefits for a majority of compute intensive workloads. The new instances are powered by the 4th generation Intel Xeon Scalable custom
OCIについて知らない方向け AWSは知ってるがOCIを知らないという方は取り急ぎ以下のようなページを読むとイメージが掴みやすいかと思いますのでリンクを貼っておきます。 本件では細かい用語の違いなどの説明は省略します。 OCIへの移行理由 今回移行した理由はコスト削減が最大の理由でした。 オンプレからAWSに移行したのは3年前の2021年2月で当時のドル円相場は約106円でした。 2021年のAWS移行当時、RDSのReserved InstancesとEC2のSavings Plansを3年で購入していました。（通常は1年などで購入されるケースの方が多いと思いますが、歴史のあるサービスなので急激なリソースの増減はあまり無さそうではと考えたためとなります。結果としては円が強いタイミングで安く買えて助かりました） 移行を検討し始めたのはRI/SPが切れる1年前くらいで、その時点のドル円レート
初めてAWSを使うときのセキュリティ覚書〜利用者編〜 | コラム | クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
しばらくDevelopersIOから出張してクラソルにも投稿します。 今回はこれからAWSを使う方や使い始めた方向けに、AWSセキュリティで絶対に覚えておく必要があることを解説します。 この記事を読んでいただければ、自信を持って安全にAWSを利用し始められます！ 1.前置き〜AWSは安全？〜 みなさんはAWSやクラウドを利用する際のセキュリティに対してどんな印象をもっていますか？ 「なんだかよくわからないけど不安だ」と感じている方、いい感覚です。初めて扱う技術を怖く感じることは正常な感覚です。しかし、過剰に怖がりすぎるのは違いますね。 逆に「AWSやクラウドは安全だからセキュリティを気にせず使って大丈夫だ」と感じた方は少し危険かもしれません。自らの正確な知識と正しい根拠がないまま勝手に安全だと信じることは正常な感覚ではありません。 いずれの場合も、AWSやクラウドについてこれから学習してい
検証環境 検証環境は以下のとおりです。 OS : Amazon Linux 2023 (al2023-ami-2023.4.20240429.0-kernel-6.1-arm64) インスタンスタイプ : c6gn.medium (ネットワーク帯域幅最大16Gbps) 東京リージョンのEC2インスタンスから大阪リージョンのEC2インスタンスへiperf3を叩いて、その時の転送速度を確認します。iperf3の詳細は以下記事をご覧ください。 レイテンシーは8msで安定しています。 EC2インスタンスの各種設定は以下のとおりです。 $ sudo cpupower frequency-info analyzing CPU 0: no or unknown cpufreq driver is active on this CPU CPUs which run at the same hardware
デジタル庁関係者「ガバメントクラウドの8割は自治体には不要なもの」…牛耳るアマゾン勢と、マイナのミスは富士通に押し付ける河野太郎 - みんかぶ（マガジン）
マイナンバー制度をめぐるトラブルが相次ぐ中、現行の健康保険証が12月に廃止される。国はマイナンバーカードに健康保険証の機能をもたせた「マイナ保険証」に一本化させるため、医療機関に最大20万円支給するバラマキまで始めるという。そもそもなぜこのようなゴタゴタが起きているのか。元プレジデント編集長で作家の小倉健一氏が河野太郎氏とデジタル庁の問題点を語るーー。 目次 別人の住民票が発行されるミスが立て続けに起きた際には開発会社に責任を押し付けた元アマゾン社員が幅を利かせているデジタル庁…ガバメントクラウド約8割は日本の自治体に必要のないもの本来、マイナカードの発行は任意であったはずが……本当に行政コストが下がるのだろうか河野太郎「目視であっても、丁寧にカードをチェックすれば偽造は見破れる」 別人の住民票が発行されるミスが立て続けに起きた際には開発会社に責任を押し付けた 毎日、毎日、笑い話のような話
[アップデート] Amazon S3でいくつかのHTTPエラーコードに対して課金されなくなりました | DevelopersIO
外部からS3バケットに対するアクセスエラー時の課金が気になる こんにちは、のんピ(@non____97)です。 皆さんは外部からS3バケットに対するアクセスエラー時の課金が気になったことはありますか? 私はあります。 Amazon S3ではAPIリクエスト数に応じて課金が発生します。 PUT、COPY、POST、LIST リクエスト (1,000 リクエストあたり) : 0.0047USD GET、SELECT、他のすべてのリクエスト (1,000 リクエストあたり) : 0.00037USD ※ いずれも東京リージョンのS3 Standardの場合 抜粋 : 料金 - Amazon S3 ｜AWS レスポンスステータスコードによって課金発生の判定は行われません。 その結果、以下記事で紹介しているとおり、外部から大量のアクセスがあり全て403 AccessDeniedであってもリクエスト数
![[アップデート] Amazon S3でいくつかのHTTPエラーコードに対して課金されなくなりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4f0f66fed1d804a85358499e6de8916d97c29394/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-s3.png)
Amazon S3 will no longer charge for several HTTP error codes
Amazon S3 will make a change so unauthorized requests that customers did not initiate are free of charge. With this change, bucket owners will never incur request or bandwidth charges for requests that return an HTTP 403 (Access Denied) error response if initiated from outside their individual AWS account or AWS Organization. To see the full list of error codes that are free of charge, visit Billi
2024年5月11日 JAWS-UG DE&IでのLT資料。
特定のS3バケットへの通信だけプライベート接続を実現したい
こんにちはますのです。 S3バケットへのGet、Putをする際に、機密情報モリモリなS3バケットだけを内部的なプライベート接続に出来ないか？と思うことがありました。 今回は特定のS3バケットのみ内部通信を実現する方法がないか調べて実装しましたので紹介です。 実現したいこと 特定のS3バケットへのAWS CLIアクセスをプライベート接続にしたい プライベートサブネットに所属するEC2インスタンスのみ接続許可としたい パブリックサブネットに所属するEC2インスタンスは接続不可とする yumやdnfコマンドでAmazon Linuxリポジトリへのアクセスはパブリックでアクセスしたい なるべく費用はかけない 構成図 概要 パブリックサブネットからの通信はゲートウェイ型VPCエンドポイントのみ接続許可とする 名前解決はRoute53リゾルバ経由でプライベートホストゾーンを参照する 特定のS3バケット
こんにちはますのです。 先日、X（旧Twitter）でとある投稿を見ました。 AWSドキュメントのS3バケットポリシー制御で、IP制限にDeny使ってるけど、Allow条件入ってないからアクセス出来ないのでは？？ { "Version": "2012-10-17", "Id": "S3PolicyId1", "Statement": [ { "Sid": "IPAllow", "Effect": "Deny", "Principal": "*", "Action": "s3:*", "Resource": [ "arn:aws:s3:::DOC-EXAMPLE-BUCKET", "arn:aws:s3:::DOC-EXAMPLE-BUCKET/*" ], "Condition": { "NotIpAddress": { "aws:SourceIp": "192.0.2.0/24" } }
AWS Amplify を使用して React Native アプリの構築を開始します。ここでは、簡単なレシピ共有アプリを作成する方法を示します。
クラウドやAWSは障害が多いイメージありますが？と聞かれた時【ガバメントクラウド】 - サーバーワークスエンジニアブログ
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 4月からガバメントクラウドのBLOG記事を書き始めましたが、応援いただいた有志の方にアイキャッチ画像を作っていただきました。とてもうれしく、今回からこちら画像を利用させていただきます。ドキュメンタリー番組のタイトルっぽくてイイ感じです 本BLOGでは、過去にあったAWSの大規模障害とその影響、対策についてご紹介させていただく内容となります。 弊社お客様よりよくお尋ねされるのが「クラウドって障害がよくあるイメージありますが、AWSだと過去どんな障害ありました？」というものがあります。 ガバメントクラウドへの移行に向けて、地方自治体のご担当様も同じ不安をもたれたり、人から説明を求められることも多いのではないでしょうか。 もし過去にあった障害がガバメントクラウドAWS上で再度起こった場合、地方自治体様の
フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ
はじめに Presigned URL（*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I
Google Cloudが、顧客のアカウントを誤って削除し、大規模障害の引き金になる──こんな出来事が海外で起きた。オーストラリアで年金基金を運営するUniSuperは5月8日（現地時間）、自社サービスで起きていた障害について、プライベートクラウドのアカウントが誤って削除されたことが原因だったと発表した。 UniSuperはGoogle Cloudを活用していたが、米Google自身が誤ってアカウントを削除。UniSuperは冗長性を確保するため、別のリージョンにもデータを置いていたが、そちらも無効にされていたという。 アカウントが削除された経緯については「（Google Cloudが）UniSuperのプライベート・クラウド・サービスをプロビジョニングする際の不用意な構成ミスにより生じた」（UniSuper）と説明している。しかし、UniSuperは他社のサービスでもバックアップを確保し
AWS Configのコストを95%削減しつつ記録を残すことを諦めない - Nealle Developer's Blog
はじめに SREチームの大木( @2357gi )です。 ECS Serviceのオートスケーリングやバッチなど、ECS Taskの起動停止が頻繁に行われる環境でAWS Configを有効にしていると、AWS Configのコストが無邪気に跳ね上がってしまうことがあります。 インターネット上では特定のリソースを対象外にすることによりコストを抑える手法が多くの記事として見かけますが、対象外にするとAWS Config側で「リソースタイムラインの表示」ができなくなったり、Security hubで使用する情報の記録を行うことができなくなってしまいます。 そこで、特定のリソースを「記録から除外」するのではなく、「日時記録に設定」することにより前述した懸念点を解消しつつ、コスト削減をすることができたので紹介します。 経緯 我々のプロダクトでもサービスのスケールや機能拡大に伴い AWS Config
この記事を3行で AWS X-Rayをpytestで使うと便利 関数の通過や例外の発生をassertでテストできる X-Rayの可視化にFlameGraphを使えば、各関数の実行時間が分かりやすい この記事を書く理由 AWS X-Rayが便利なので、AWS環境へのデプロイの前でも使える使い方を紹介したい。 完成後の挙動 この記事で作成する単体テストを、Pytestで実行すると、 単体テストが吐き出したX-Rayのデータをもとに、下のようなグラフがローカルのPC上に作成されます。 FlameGraphと呼ばれているグラフです。炎のように下から上に伸びていくことが特徴です。 グラフの縦の方向は関数の呼び出しを表しています。 たとえばこのグラフなら、下から上に読んで、lambda_handler関数がnetwork_process関数を呼び出して、そこからgoogle.co.jpへのリクエストを
Amazon EFSのクライアント当たりの最大スループットが1.5GB/sに。これまでより3倍高速なファイルアクセスを実現
Amazon EFSのクライアント当たりの最大スループットが1.5GB/sに。これまでより3倍高速なファイルアクセスを実現 AWS（Amazon Web Services）は、スケーラブルなNFSサーバをマネージドサービスで提供する「Amazon EFS」（Amazon Elastic File System）のクライアント当たりの最大スループットを、これまでの3倍となる1.5GB/sに拡大したことを発表しました。 Amazon EFSは、Amazon EC2インスタンスやAmazon EKSポッドなどからNFSプロトコルでマウントして利用するストレージサービスです。あらかじめ容量を決めてプロビジョニングする必要がなく、保存するファイルの大きさに対して自動的にキャパシティが増減していくのが特長です。 同時に数千もの同時接続にも対応するスケーラビリティを備えています。 今回発表された、クライ
WebクロールしてRAGの情報源にしたいなと思いApache StormCrawlerを試しました！！（未達） - Qiita
diff --git a/docker-compose.yml b/docker-compose.yml index 08904dc..82358d0 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -70,6 +70,42 @@ services: volumes: - ./frontier:/crawldir + opensearch-node1: + image: opensearchproject/opensearch:latest + container_name: opensearch-node1 + environment: + - discovery.type=single-node + # - cluster.name=opensearch-cluster # Name the cluster + -
社会人向けオンライン動画学習サービス「Udemy（ユーデミー）」でAmazon AWSの講座を探そうとするとき、次の悩みを抱えていませんか？ 数ある講座でAmazon AWSのおすすめの講座が分からない。 Amazon AWSの講座選びに失敗したくないので、他のユーザーの意見や経験が反映された評価が高く人気が高いおすすめの講座を選びたい。 自分で1つ1つAmazon AWSのおすすめの講座を精査する時間がない。 当記事では、Udemy（ユーデミー）でセール・割引活用で購入したい評価が高く人気の高いAmazon AWSのおすすめの講座をまとめました。数ある講座からAmazon AWSのおすすめの講座を最短で精査できます。 ※Udemy（ユーデミー）のセールがいつなのかは次の記事で解説しています。 Udemyセールいつ？最大95%割引！頻度・通知設定解説
Python アプリのモニタリングを Amazon CloudWatch Application Signals (プレビュー) で実施 | Amazon Web Services
Amazon Web Services ブログ Python アプリのモニタリングを Amazon CloudWatch Application Signals (プレビュー) で実施 AWS は re:Invent 2023 で Amazon CloudWatch Application Signals を発表しました。これは Java アプリケーションの健全性をモニタリングして理解するための新機能です。本日、Application Signals が Python アプリケーション のサポートを開始したことをお知らせします。 Application Signals を有効化することで、コード変更なしで Python アプリケーションに AWS Distro for OpenTelemetry (ADOT) を導入できるようになります。これにより、Python を使って開発されたライブラ
ますます多機能となりAWSにおけるデータ分析を支えてくれているAWS Glueの2024年時点の機能について、入門におすすめのものをご紹介します。 当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の42日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマ
AWS Config Rulesを使用し、組織全体で一定期間利用の無いIAMユーザーにDenyポリシーをアタッチしてみた - サーバーワークスエンジニアブログ
エンタープライズクラウド部の山下(祐)です。 今回は、AWS Config Rules（以下、Configルール）で一定期間利用の無いIAMユーザーを検知し、修復アクションでAWSDenyAllポリシーをアタッチ＆管理者へのメール通知を行ってみたいと思います。 また、CloudFormation StackSets（以下、StackSets）とAWS Config Conformance Packs（以下、適合パック）を使用し、AWS Organizations（以下、Organizations）の組織全体で利用の無いIAMユーザーを管理できるようにしたいと思います。 適合パックとStackSetsの配布イメージ 修復の流れ StackSetsの委任 修復アクション用IAMロール SNSトピック Configルール 修復アクション ビジュアルツール ランブック属性 ① GetUsernam
AWS Systems Manager(SSM)で安全に環境変数を管理する方法 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
アプリケーションに必要な環境変数は.envファイルで管理されます。 .envファイルは秘匿情報を含むため、gitのリポジトリに置くのは絶対にNGです。gitignoreして管理すればリポジトリにアップロードされることはないですが、どんなミスがあるかわからないので、できれば完全に切り離して管理するのがベターといえます。 そこで本記事では、AWSのSystem Manager(SSM)を利用して、アプリケーションに必要な環境変数を安全に管理する方法について解説します。 前提知識：環境変数と.envファイルについて 環境変数とは 環境変数とは、コンピュータのオペレーティングシステムがプログラムに提供する、環境に関する情報を格納するための変数です。 環境変数には、さまざまな情報が含まれます。たとえば、プログラムの検索パスや言語設定、ユーザー名、ホームディレクトリのパス、システムの一時ファイルディレ
CDK の中で DB を初期化する点についても後ほど触れます。 S3 にサンプルデータをアップロードする 続いて、以下のコマンドで S3 にサンプルのデータを入れます。 bucket_name=$(aws cloudformation describe-stacks --stack-name BlogAthenaJoinS3AndMysqlStack --output text --query 'Stacks[0].Outputs[?OutputKey==`BucketName`].OutputValue') aws s3 cp ./s3_test_data/data "s3://${bucket_name}/data" --recursive これで CloudFormation で作成した S3 バケット名を取得し、そのバケットに以下の CSV ファイルをアップロードしました。 ※4都
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも！オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl
Broadcom、AWSによる「VMware Cloud on AWS」の販売が終了したと発表 「サービスはなくならない」
Broadcom、AWSによる「VMware Cloud on AWS」の販売が終了したと発表 「サービスはなくならない」 AWS上のVMwareサービスである「VMware Cloud on AWS」は、今後AWSや同社のパートナーから販売されないことが明らかになった。Broadcom CEOのホック・タン氏は、サービスがなくなるわけではないと述べている。
Amazon Web Services ブログ 生成AIで外観検査をやってみた 1. はじめに 製造業における品質管理は非常に重要な課題です。製品の外観や組立状態を確認し、欠陥の有無を判断する外観検査工程は、高い品質を維持するうえで欠かせません。この検査工程を人手に頼らず自動化できれば、コスト削減と品質の安定化が期待できるため、さまざまな検査工程の自動化が試みられています。今でも外観検査のソリューションとしてAWSではAmazon Lookout for Visionというサービスを提供していますが、今回は違う切り口から、Amazon Titan Multimodal Embeddings G1を使って生成AIで同じような外観検査ができるかトライしてみました。 Embedding方式の利点は、製品カテゴリーを問わず同じ数値化モデルを活用できる点にあります。サンプル画像の数値化自体は製品に依
MySQLの文字コード（characterset）と照合順序（collation）についてとその設定 - Qiita
株式会社TECH LUCKという会社で代表兼エンジニアをしている齊藤です。 開発している際にMySQLの文字コード関連でエラーが出てきたので、いい機会だと思って調べたことをまとめました。 前提条件 macOS13.2.1（M1チップ） MySQL：8.0.32 また記事の後半で、AWSのRDSも出てきます。 文字コードと照合順序について MySQLは文字コードとソート順の2つの設定を持っています。ソート順の部分を照合順序と呼びます。 MySQL内で文字列を比較する際に、文字コードだけでなく照合順序が一致するかどうかも比較します。そのため、照合順序が合わないと比較できず、JOINしようとした際にエラーになってしまいます。 文字コード（characterset）は、MySQL内ではutf8mb4, utf8, cp932などで表されています。 文字コードは、MySQLクライアント（接続元）の設
Amazon RDS ブルー/グリーンデプロイを利用してMySQLのアップグレードをした話 - Pepabo Tech Portal
こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ
【2024年】AWSアカウントの rootユーザーでしかできないことをまとめてみた | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、rootユーザーでしかできない操作を知りたいと思ったことはありますか？私はあります。 rootユーザーとは、AWSアカウントを作成した際に自動的に付与される最も権限の高いユーザーアカウントのことです。 rootユーザーには特別な権限があり、一般ユーザーアカウント(IAMユーザー)ではできない操作が可能です。 しかし、rootユーザーだと非常に強い権限を持っているので、基本的にAWSを利用する際はIAMユーザーを利用することがベストプラクティスとされています。 AWS アカウントのルートユーザーのベストプラクティス - AWS Identity and Access Management rootユーザーの認証情報が必要なタスクがある場合を除き、AWS アカウントのrootユーザーにはアクセスしないことを強くお勧めします。 また弊社AWS
VMware Cloud on AWS 上の仮想マシンをVM Import/Export で AWS にプライベート移行してみる - Qiita
VMware Cloud on AWS 上の仮想マシンをVM Import/Export で AWS にプライベート移行してみるAWSEC2vmwarevmimportVMwareCloudOnAWS はじめに VMware vSphere 環境から Amazon EC2 への移行は AWS Application Migration Service (MGN) が現在広く使われているかと思います。 これまで EC2 から VMware Cloud on AWS についての移行について投稿してきました（関連記事）が、VMware Cloud on AWS から EC2 への移行についても記事にしていこうと思います！ VMware Cloud on AWS 上の仮想マシンについても MGN を使用して検証されている有用な記事が既に複数あり参考になりますので是非参照下さい。 今回は、あえて V
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2024年5月号 | DevelopersIO
Amazon RedshiftはZero-ETL統合のMulti-AZデプロイメント、Amazon Athenaのフェデレーテッドクエリパススルー機能、Amazon QuickSightのAWS PrivateLinkのサポートとIAMアイデンティティセンターのアカウントインスタンスを新たに統合など。 はじめに クラスメソッドの石川です。日々AWSのアナリティクス関連サービスのアップデートとそのブログをご紹介します。 今月は、Amazon RedshiftはZero-ETL統合のMulti-AZデプロイメントで高可用性を実現し、ダウンタイムなしの分析を可能に。Amazon Athenaのフェデレーテッドのクエリパススルー機能で、BigQueryやSnowflakeなどの外部データソースへの直接アクセスが可能になり、データ処理の効率が飛躍的に向上。さらに、Amazon QuickSightは
はじめに こんにちは、助太刀バックエンドチームの市川です！ 助太刀では、2024 年 2 月に以下の生成 AI の活用した社内情報検索システムに関するプレスリリースを発信しました。 助太刀、生成 AI を使った社内 Wiki を開発。生成 AI の活用により社内業務の効率化を強化 今回は、その社内情報検索システムに関する LLM(大規模言語モデル)、RAG(Retrieval-Augmented Generation) を用いた検索システムの構築について紹介したいと思います。 上記プレスリリースにも記載がありますが、主に社内業務効率化を目的とし開発・導入しました。 RAG とは RAG（Retrieval-augmented Generation） とは、質問やプロンプトに対して出力する答えを作る過程で、あらかじめ用意された外部データベース内の既存情報を参照（Retrieval）することで
AWS Step Functionsの単体テストをローカル環境で実施したい場合、 AWSのドキュメントに「AWS Step Functions Local」を使った方法が記載されており、 AWS Step Functionsから呼び出す処理(Lamda,SQSなど)をモックする方法もあります。 ステートマシンのローカルテスト | docs.aws.amazon.com https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/sfn-local.html モックサービス統合の使用 | ステートマシンのローカルテスト | docs.aws.amazon.com https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/sfn-local-test-sm-exec.html
CloudWatch Logsのロググループ名とログストリーム名の命名規則を一部のAWSサービスに限りまとめてみた | DevelopersIO
はじめに マルチアカウント構成において、アカウント発行後にCloudFormationを使ってアカウントのベースライン(セキュリティ、ネットワーク、ログ等)を構築することがよくあります。 その際、AWSサービスごとに1つのロググループをベースラインで作成するか、メンバーアカウント側で必要に応じてロググループを作成するかを検討する必要があります。 1つのロググループに複数のリソースのログを集約する方法と、リソースごとにロググループを作成する方法には、それぞれメリットとデメリットがあります。 1つのロググループを集約する メリット 管理するリソースが減る 手動で作成する手間が減る ログをクエリする際、関連するログが1つのロググループにまとめられていると効率的になることがある デメリット １秒間のログイベント書き込みには制限があるため、エラーになる可能性がある 各リソースごとに識別できるログスト
We've heard developers voice the same pain points time and again: it's hard to integrate your app's frontend with your backend, you need to tackle an ever-expanding technical scope in your daily workload, and it's tough to navigate the breadth of cloud offerings. While backend-as-a-service offerings provide an easy onramp, they often require developers to migrate away from them as their company sc
Qcon London:効率的なサーバーレス開発
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing Amazon EC2 C7i-flex instances
AWS から OCI に移行してコストを約半額にした話 - Qiita
東京リージョンと大阪リージョンのEC2インスタンス間の転送速度を計測してみた | DevelopersIO
チーム立ち上げにAWSを活用したらClaudeさんに褒められた話
特定のIPまたはVPCからのみ許可するS3バケットポリシーの設定
AWS で作ってみよう | モバイルアプリケーション動画学習シリーズ
Google Cloud、豪年金基金のアカウントを誤削除 予備も誤削除 他社でのバックアップでなんとか復旧
X-RayはpytestとFlameGraphを組み合わせると便利 - Qiita
Udemyセール・割引活用！Amazon AWSのおすすめの講座 | システムエンジニアの知恵袋
AWS入門ブログリレー2024〜AWS Glue編〜 | DevelopersIO
Athena で S3 と MySQL を JOIN する | DevelopersIO
生成AIで外観検査をやってみた | Amazon Web Services
SCSK、AWS向けクラウド移行支援パッケージの提供範囲をクラウドネイティブ化まで拡大
RAGを用いた社内情報検索システムを導入した話
AWS Step Functionsの単体テスト実施手順 | takemikami's note
Introducing a New Fullstack TypeScript DX for AWS