タグ

awsに関するsh19910711のブックマーク (844)

  • チーム立ち上げにAWSを活用したらClaudeさんに褒められた話

    2024年5月11日 JAWS-UG DE&IでのLT資料。

    チーム立ち上げにAWSを活用したらClaudeさんに褒められた話
    sh19910711
    sh19910711 2024/05/13
    "Amplifyで作ったナレッジサイトの記事から回答できるQ&A Bot / Bedrock + UIはStreamlit + ベクターストアをFAISSとAmazon Titan + Hugoのテンプレートを活用 / 爆速で社内ブログを作成 + ナレッジ検索の幅が広がった"
  • 社内 GameDay をやってみた - エムスリーテックブログ

    こんにちは、エムスリーエンジニアリングGの榎田です。趣味数学ゲームです。数学はここ半年ほど 微積分の勉強 をしていて、ぼちぼち微分形式の話ができそうです。ゲームは黎の軌跡(日ファルコム軌跡シリーズ最新作)を遊んでいます。初週ナイトメアでも遊べるバランスなのがよいです。あとフェリちゃんがかわいい。 お仕事では Docpedia という医師向け Q&A サービス を開発するチームでの仕事が半分、チーム SRE としての仕事が半分、という立ち位置です。最近、その Docpedia チームで GameDay というものをやりました。その過程で色々なことが学べたので、今日はその話を書きます。 GameDay とは 出した問題 ぱっと見 裏で何を壊したか 結果 問題設計の意図 ひどく難しくしない できることを制限しない 引き継ぎ 感想や学び 一人でも文殊、三人でもっと文殊 権限があることと実際に

    社内 GameDay をやってみた - エムスリーテックブログ
    sh19910711
    sh19910711 2024/05/11
    "単純に「検証環境で障害を起こすから、復旧してね」という問題を出すことにしました / 本番障害時にできる調査手段は一切制限しない / 権限があることと実際に行動に移せることは違う" 2021
  • AWS Config Rulesを使用し、組織全体で一定期間利用の無いIAMユーザーにDenyポリシーをアタッチしてみた - サーバーワークスエンジニアブログ

    エンタープライズクラウド部の山下(祐)です。 今回は、AWS Config Rules(以下、Configルール)で一定期間利用の無いIAMユーザーを検知し、修復アクションでAWSDenyAllポリシーをアタッチ&管理者へのメール通知を行ってみたいと思います。 また、CloudFormation StackSets(以下、StackSets)とAWS Config Conformance Packs(以下、適合パック)を使用し、AWS Organizations(以下、Organizations)の組織全体で利用の無いIAMユーザーを管理できるようにしたいと思います。 適合パックとStackSetsの配布イメージ 修復の流れ StackSetsの委任 修復アクション用IAMロール SNSトピック Configルール 修復アクション ビジュアルツール ランブック属性 ① GetUsernam

    AWS Config Rulesを使用し、組織全体で一定期間利用の無いIAMユーザーにDenyポリシーをアタッチしてみた - サーバーワークスエンジニアブログ
    sh19910711
    sh19910711 2024/05/11
    "マネージドルールの「iam-user-unused-credentials-check」 + 一定期間利用のないコンソールパスワード、アクセスキーを持つIAMユーザーを検知 / SSMのAutomation: Step Functions同様に、ビジュアルツールを用いて作成することも可能"
  • Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO

    Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも!オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl

    Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
    sh19910711
    sh19910711 2024/05/11
    "Cloudflare AI Gateway: モデルの利用状況をモニタリングできるダッシュボードであったり、ログ、キャッシュの機能もあり + 今後、DLPの機能や使用状況によるアラートの機能など多くの便利な機能が計画"
  • はじめてのre:Inventを振り返る - Qiita

    はじめに 先日開催された、re:Invent2023に参加してきました。 各セッションで得られたことなどは順次まとめていきたいと思いますが、サマリ的な形で感想を書いていきたいと思います。 ※re:Invent初心者が”感じたこと”を語るので、技術的な要素はほぼ含まれませんのでご留意ください。 自己紹介 私は、某SIerで主に公共機関向けのクラウド移行を支援しているエンジニアです。昨年、今年AWS Top Engineerに選ばれており、AWSが大好きな人です。主に基盤系をやっているのであまりアプリよりのことは詳しくないです。 現地で参加したもの Keynote ・Monday Night Live ・CEO Keynote ・Data and AI Keynote ・Dr.Warner Keynote 上記のセッションに参加しました。 KeynoteはどうせYoutube公開されるからでな

    はじめてのre:Inventを振り返る - Qiita
    sh19910711
    sh19910711 2024/05/10
    "会場のスケール、熱気、新サービスのリアクションなどなど、現地でしか味わえないものがありました / セッションも詰め込みすぎて、参加できないものがあったり、そもそも、予約取れなかったものあった" 2023
  • 【AWS】Amazon Security Lakeの概要とアクセス管理の検証 - Qiita

    はじめに 2023年5月に一般提供を開始したAmazon Security Lake(以後Security Lakeと記載)についてサービスの概要と特徴であるアクセス管理(データアクセス,クエリアクセス)に焦点をあてて記載します。 今回解説を行わない内容 Security Lake 環境構築の諸設定解説 Security Lake に蓄積したデータの可視化 目次 ・Security Lakeとは ・メリット ・システム構成図とアクセス管理の検証箇所 ・導入ステップ ・アクセス管理動作検証 ・どのような活用が期待されるか ・注意点 Security Lakeとは Security Lakeは、フルマネージド型のセキュリティデータレイクサービスです。 AWS環境・SaaSプロバイダー・オンプレミス・クラウドソースからのセキュリティデータ(ログ・イベントデータ)を、アカウントに保存されている専用

    【AWS】Amazon Security Lakeの概要とアクセス管理の検証 - Qiita
    sh19910711
    sh19910711 2024/05/09
    "Security Lake: 検知したデータと他のログデータと組み合わせて分析や機械学習に利用する + サードパーティのデータもOSCF形式に変換することで一元管理 / 従量課金: データの取込みとデータ変換(正規化)"
  • [プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた | DevelopersIO

    [プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた いわさです。 今朝のアップデートAmazon Bedrock Studio というものがプレビューリリースされました。 Amazon Bedrock Studio は、組織ユーザーに Bedrock のプレイグラウンドや、ナレッジベースやエージェントなどのコンポーネントを使って Bedrock アプリケーションのプロトタイプを作成し、評価したり組織内のユーザーへ共有出来るアプリケーションです。 要は、Amazon Bedrock コンソールの一部機能を IAM Identity Center ユーザー向けに、専用の Web アプリケーション(IAM Identity Center アプリケーション)として提供し

    [プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた | DevelopersIO
    sh19910711
    sh19910711 2024/05/09
    "Bedrock: コンソールの一部機能を IAM Identity Center ユーザー向けに、IAM Identity Center アプリケーションとして提供 / 実態は Amazon DataZone + Bedrock Studio にロールを与えるのですが、DataZoneを信頼する必要"
  • なぜ「Infrastructure as Code」が必要なのか

    「July Tech Festa 2021 winter」で発表した資料です https://techfesta.connpass.com/event/193966/

    なぜ「Infrastructure as Code」が必要なのか
    sh19910711
    sh19910711 2024/05/09
    "手動管理はヒューマンエラーによるミス + IaCはその課題の一部を解決 / CloudFormation: 1システム1つのテンプレートだと大規模テンプレートになりメンテナンスが難しい + ライフサイクル別にテンプレートを分割" 2021
  • RAGを用いた社内情報検索システムを導入した話

    はじめに こんにちは、助太刀バックエンドチームの市川です! 助太刀では、2024 年 2 月に以下の生成 AI の活用した社内情報検索システムに関するプレスリリースを発信しました。 助太刀、生成 AI を使った社内 Wiki を開発。生成 AI の活用により社内業務の効率化を強化 今回は、その社内情報検索システムに関する LLM(大規模言語モデル)、RAG(Retrieval-Augmented Generation) を用いた検索システムの構築について紹介したいと思います。 上記プレスリリースにも記載がありますが、主に社内業務効率化を目的とし開発・導入しました。 RAG とは RAG(Retrieval-augmented Generation) とは、質問やプロンプトに対して出力する答えを作る過程で、あらかじめ用意された外部データベース内の既存情報を参照(Retrieval)することで

    RAGを用いた社内情報検索システムを導入した話
    sh19910711
    sh19910711 2024/05/09
    "社内ドキュメントの保存に基本的に Google Drive を利用 / Kendra Google Drive コネクタ: 動作が不安定 / 人事関連の迅速な情報アクセス: 結婚に伴う人事関連の手続き => 必要なフォームと詳細な申請プロセスが直ちに提供"
  • AWS Step Functionsの単体テスト実施手順 | takemikami's note

    AWS Step Functionsの単体テストをローカル環境で実施したい場合、 AWSのドキュメントに「AWS Step Functions Local」を使った方法が記載されており、 AWS Step Functionsから呼び出す処理(Lamda,SQSなど)をモックする方法もあります。 ステートマシンのローカルテスト | docs.aws.amazon.com https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/sfn-local.html モックサービス統合の使用 | ステートマシンのローカルテスト | docs.aws.amazon.com https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/sfn-local-test-sm-exec.html

    AWS Step Functionsの単体テスト実施手順 | takemikami's note
    sh19910711
    sh19910711 2024/05/09
    "Step Functionsの単体テスト: ドキュメントに「AWS Step Functions Local」を使った方法が記載 + 呼び出す処理(Lamda,SQSなど)をモックする方法もあり / 繰り返しの実施をしやすいようにpytestに組み込む"
  • 構成図を『描く』から『書く』へ:DiagramsでAWS構成図かいてみる - Qiita

    やること "Diagram as Code"ことDiagramsで、AWS構成図をコードでかいてみる Diagramsとは Diagramsは、Pythonモジュール Diagrams使うにはGraphvizも必要 Pythonのコードでクラウドシステムアーキテクチャを描画できる サイトはここ https://diagrams.mingrammer.com/ サイトにあるDiagramsの説明は、英語だけど分量が少ないので一読すべし!(自動翻訳で十分理解できる) このように、構成図をPythonのコードで書ける。このコードを、Pythonスクリプトとして実行すると、構成図が画像として出力される。 良いところ 構成図をコード化できる コード編集で作図編集できるので、画像修正より楽 コードなので、CloudFormationのコードとまとめてGitで管理できる AWS以外のアイコンも用意されて

    構成図を『描く』から『書く』へ:DiagramsでAWS構成図かいてみる - Qiita
    sh19910711
    sh19910711 2024/05/09
    "Diagrams: 構成図をコード化できる + コードなのでCloudFormationのコードとまとめてGitで管理できる + AWS以外のアイコンも用意されている / 代用アイコンを決めておけばチーム内で共有する構成図として十分に使えそう" 2020
  • Slack経由でRAGにコードレビューを依頼するBotを作成 〜 AWS SAM編 - Qiita

    はじめに 前回の記事では、リーダブルコードの原則に従ったコードレビューを自動化できないものか・・と考えた結果、『RAGにリーダブルコードの原則を取り込ませてコードレビューをしてもらおう!!』という検証をしてみました。 検証環境の構築は AWSマネジメントコンソール を使用していましたが、今回は AWS SAM を使用して、より簡単に環境構築する方法の解説を行います。 使用するリポジトリは以下になります。 事前準備 リージョン切り替え 全ての手順は「東京リージョン」で実施することを前提としているため、AWSのマネジメントコンソールからリージョンを「東京」に変更してから手順を進めてください。 Cloud9 ローカルマシンの環境を汚さないために、Cloud9 を使用して環境構築を行います。Cloud9 には、今回の作業に必要な以下のツールが事前にインストールされているため、環境構築がスムーズに行

    Slack経由でRAGにコードレビューを依頼するBotを作成 〜 AWS SAM編 - Qiita
    sh19910711
    sh19910711 2024/05/09
    "リーダブルコードの原則を取り込ませてコードレビューをしてもらおう / Cloud9: AMTCで付与された一時クレデンシャルの権限では IAMロールやIAMポリシーに対するアクセス権限が制限"
  • AWS Batchを用いた機械学習の分散推論 #AWSDevDay

    AWS Dev Day Online Japan 2021で発表した資料です。 ドライブレコーダの映像から道路上の物体を検出し、検出した物体の緯度経度を推定するシステムをAWS Batchで構築しました。 AWS Batchを用いた機械学習の分散推論システムの構築方法や開発における工夫点などを紹介しています。

    AWS Batchを用いた機械学習の分散推論 #AWSDevDay
    sh19910711
    sh19910711 2024/05/09
    "ドライブレコーダを使った交通事故削減支援サービス + 一つの性能評価実験で166時間の動画 + g4dn.xlarge1並列だと120時間かかる / 166時間の動画を2000データユニットに分解 + 64並列で分散推論することで2時間弱で処理" 2021
  • Observability はじめの一歩 CloudWatch Synthetics

    sh19910711
    sh19910711 2024/05/08
    "なるべく楽に始められる監視が良い + 現状動作しているアプリケーションになるべく手を加えたくない / CloudWatch Synthetics: WebアプリケーションとAPIを簡単に監視できるようにする / Canary: Lambda関数で6種類のBlueprintが用意"
  • AWS CodeBuildでビルド成功時にAmazon Bedrockを使用して褒めてくれる仕組みを作成してみた | DevelopersIO

    AWS CodeBuildのビルド終了時に通知することが可能なのですが、Amazon SNSでのメール通知を設定するだけだと無機質なJSONが送られてくるためAmazon Bedrockを使用してビルド成功時に褒めてくれるようにしてみました。 通知ルールの作成 通知に使用するAWSリソース Amazon SNSAWS CodeBuildのビルド成功通知をAWS Lambdaに行い、Lambda関数からAmazon Bedrockのinvoke_modelを実行してレスポンスのテキストをAmazon SNS経由でメール通知するシンプルな構成としています。 簡易的にはなりますが構成は以下の通りとなります。 作成したコード Lambda関数のコードはPythonで作成しています。 今回はAnthropic Claude 3 Sonnetを使用してメッセージ APIを実行するようにしています。

    AWS CodeBuildでビルド成功時にAmazon Bedrockを使用して褒めてくれる仕組みを作成してみた | DevelopersIO
    sh19910711
    sh19910711 2024/05/08
    "Amazon SNSでのメール通知を設定するだけだと無機質なJSONが送られてくるため / eventからbuild-statusを取得してFAILEDなら慰めてもらいSUCCEEDEDなら褒めてもらう / 失敗時に原因として考えられる部分を教えてくれるような仕組み"
  • 分析基盤をAthenaからBigQueryへノーコードで移行した話 - mikan Developers' Blog

    この記事はmikan Advent Calendar 2023の24日目の記事です。 こんにちは。株式会社mikanでPlatform Engineeringチームのリーダーをしております。@hoshitocat です。Platform Engineeringチームは最近できたチームですが、その取り組み内容についてはまた後ほどご紹介できればと思っています。 昨日はQAチームのchiakiさんによる、 「テスト自動化で試行錯誤した話」でした。QAの自動化に取り組みたいと思っている方や、QAコスト削減方法に悩んでいる方はぜひ読んでみてください! note.com なお、mikan Advent Calendar 2023の他の記事は下記のリンクからご覧ください。 adventar.org はじめに これまでの分析基盤の課題 BigQuery利用への意思決定 Glueを使ってみるが断念 Athe

    分析基盤をAthenaからBigQueryへノーコードで移行した話 - mikan Developers' Blog
    sh19910711
    sh19910711 2024/05/07
    "STSとDataprepを使って、S3にある行動ログをAthenaで集計していたものを、BigQueryで集計できるようにする / Dataprep: Plansというものがあり定期実行することもでき + Jobの実行状況ごとにSlack通知" 2023
  • Amazon Titan Text Embedding V2 を試してみた | DevelopersIO

    特にV2ではベクトルサイズ(dimensions)を柔軟に選択できるようになったため、用途に応じて適切な値を選択すると良さそうです。 使用ライブラリ 今回使用するライブラリは、boto3のみです。 boto3:1.34.61 コサイン類似度を計算する際、一般的には以下のブログのようにNumPyやSciPyという外部ライブラリを別途導入し利用する事が多いです。 今回はあえて外部ライブラリを使わず、boto3以外はPythonの標準ライブラリのみでコサイン類似度を計算します。 boto3がプリインストールされているCloudShell等の環境であれば追加の外部ライブラリなしで実行できるので、ぜひそちらでお試しください。 スクリプト内容 Pythonのスクリプトを以下に示します。 スクリプト実行時の引数に比較対象となる2つの文を指定して実行すると、コサイン類似度が出力されます。 また今回はオレゴ

    Amazon Titan Text Embedding V2 を試してみた | DevelopersIO
    sh19910711
    sh19910711 2024/05/07
    "Titan Text Embeddings V2: ベクトルの正規化をサポート + トークンあたりの価格が低下 + 100万トークンあたり 0.02USD / 小さいベクトルサイズを選択する事でデータベースから文書抽出を検索して取得するための待ち時間を短縮"
  • Amazon BedrockとSlackで生成AIチャットボットアプリを作る (その1:ローカルPC+Socket Modeで動かす) | DevelopersIO

    Amazon BedrockとSlackで生成AIチャットボットアプリを作る (その1:ローカルPC+Socket Modeで動かす) みなさん、こんにちは! 福岡オフィスの青柳です。 Amazon Bedrockを使った検証を行う際に「自分でチャットアプリを作って試せるといいな」と思ったので、Slackでチャットボットアプリを作ってみることにしました。 初めてなのでステップバイステップで進めることにします。 まずは「Slackを使ったチャットボットアプリ作成の入門」からやってみます。 Slackアプリの開発 今回のコンセプトは以下の通りです。 開発言語は「Python」を使う まずはローカルPCSlackアプリを動かしてみる Pythonを使ってSlackアプリを作成するために、Slack公式のフレームワーク「Bolt for Python」を使います。 また、来であればSlack

    Amazon BedrockとSlackで生成AIチャットボットアプリを作る (その1:ローカルPC+Socket Modeで動かす) | DevelopersIO
    sh19910711
    sh19910711 2024/05/07
    "Socket Mode: Slackアプリに対するインバウンドの通信が不要 + サーバーを立てずに開発PCなどでもSlackアプリを実行 + Slack App単位の設定 / Slack Bolt: SDKを使うよりもシンプルな記述でSlackアプリを開発"
  • Amazon Bedrock のプロビジョンドスループットにおける最小請求単位を調べてみた | DevelopersIO

    いわさです。 Amazon Bedrock ではモデルをデプロイするための専用キャパシティを確保するためにトークンベースではない時間ベースの「プロビジョンドスループット」という概念があります。 日時点では米国東部 (バージニア北部) リージョンと米国西部 (オレゴン)リージョンで利用可能です。 料金表には 1 時間あたりの料金単価が記載されています。 なかなかの料金。 そんな中、プロビジョンドスループットの検証を行う機会がありました。 通常のワークロードで使用するのであれば 1 時間以上プロビジョニングすることが想定されそうなので良いと思うのですが、検証の場合は一度きりとか数分とかもう少し短い使用時間の場合があります。 プロビジョンスループットはコミットメントなしでも利用が可能ですが、期間をコミットして割引を受けることも出来ます。 前者の場合は不要になったタイミングでいつでも削除が出来て

    Amazon Bedrock のプロビジョンドスループットにおける最小請求単位を調べてみた | DevelopersIO
    sh19910711
    sh19910711 2024/05/06
    "Bedrock: 専用キャパシティを確保するためにトークンベースではない時間ベースの「プロビジョンドスループット」という概念があり / 削除は可能ですが、請求は 1 時間分の料金 + 2 つのモデルで確認したので 2 時間分"
  • IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け

    2024/05/05 JAWS-UG初心者支部#60 初心者向けLT大会 https://jawsug-bgnr.connpass.com/event/316727/

    IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
    sh19910711
    sh19910711 2024/05/06
    "AWSの触り方: マネコンもCLIもIaCもいいね、という話 / マネジメントコンソール: 直感的で分かりやすい→「確認」に適している / IaC: サービスの理解は必要→程よい達成感をすぐに得られる・効率よく学べる"