X-RayはpytestとFlameGraphを組み合わせると便利 - Qiita
この記事を3行で AWS X-Rayをpytestで使うと便利 関数の通過や例外の発生をassertでテストできる X-Rayの可視化にFlameGraphを使えば、各関数の実行時間が分かりやすい この記事を書く理由 AWS X-Rayが便利なので、AWS環境へのデプロイの前でも使える使い方を紹介したい。 完成後の挙動 この記事で作成する単体テストを、Pytestで実行すると、 単体テストが吐き出したX-Rayのデータをもとに、下のようなグラフがローカルのPC上に作成されます。 FlameGraphと呼ばれているグラフです。炎のように下から上に伸びていくことが特徴です。 グラフの縦の方向は関数の呼び出しを表しています。 たとえばこのグラフなら、下から上に読んで、lambda_handler関数がnetwork_process関数を呼び出して、そこからgoogle.co.jpへのリクエストを
トラブルシューティングで僕が大事にしてること
2. 自己紹介 ・門田 矩明(かどた のりあき) ・株式会社CyberZ F.O.X サービスマネージャ ・元Javaエンジニア ・2006年新卒で中小系SIerに入社 ECサイト開発や金融関連システム開発 ・2012年 サイバーエージェント 中途入社 Amebaで出会い系アプリ → Teen女子ブログサービス(CANDY by Ameba) ・2014年 子会社のCyberZ に出向 → F.O.X プロダクトマネージャ → F.O.X サービスマネージャ now
terraform plan 結果の検証を自動化するぞ！ with Conftest / Testing terraform plan with Conftest
下記LT会にて発表した資料です。 自動化大好きエンジニアLT会 - vol.5 - connpass https://rakus.connpass.com/event/224448/ スライド内リンク一覧 --- 8ページ - Conftest https://www.conftest.dev/ - Open Policy Agent https://www.openpolicyagent.org/ 12ページ - hashicorp/terraform-json https://github.com/hashicorp/terraform-json 20ページ - Flatten nested JSON using jq https://stackoverflow.com/questions/37540717/flatten-nested-json-using-jq/37555908#3
社内 GameDay をやってみた - エムスリーテックブログ
こんにちは、エムスリーエンジニアリングGの榎田です。趣味は数学とゲームです。数学はここ半年ほど 微積分の勉強 をしていて、ぼちぼち微分形式の話ができそうです。ゲームは黎の軌跡（日本ファルコム軌跡シリーズ最新作）を遊んでいます。初週ナイトメアでも遊べるバランスなのがよいです。あとフェリちゃんがかわいい。 お仕事では Docpedia という医師向け Q&A サービス を開発するチームでの仕事が半分、チーム SRE としての仕事が半分、という立ち位置です。最近、その Docpedia チームで GameDay というものをやりました。その過程で色々なことが学べたので、今日はその話を書きます。 GameDay とは 出した問題 ぱっと見 裏で何を壊したか 結果 問題設計の意図 ひどく難しくしない できることを制限しない 引き継ぎ 感想や学び 一人でも文殊、三人でもっと文殊 権限があることと実際に
AWS Config Rulesを使用し、組織全体で一定期間利用の無いIAMユーザーにDenyポリシーをアタッチしてみた - サーバーワークスエンジニアブログ
エンタープライズクラウド部の山下(祐)です。 今回は、AWS Config Rules（以下、Configルール）で一定期間利用の無いIAMユーザーを検知し、修復アクションでAWSDenyAllポリシーをアタッチ＆管理者へのメール通知を行ってみたいと思います。 また、CloudFormation StackSets（以下、StackSets）とAWS Config Conformance Packs（以下、適合パック）を使用し、AWS Organizations（以下、Organizations）の組織全体で利用の無いIAMユーザーを管理できるようにしたいと思います。 適合パックとStackSetsの配布イメージ 修復の流れ StackSetsの委任 修復アクション用IAMロール SNSトピック Configルール 修復アクション ビジュアルツール ランブック属性 ① GetUsernam
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも！オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl
はじめてのre:Inventを振り返る - Qiita
はじめに 先日開催された、re:Invent2023に参加してきました。 各セッションで得られたことなどは順次まとめていきたいと思いますが、サマリ的な形で感想を書いていきたいと思います。 ※re:Invent初心者が”感じたこと”を語るので、技術的な要素はほぼ含まれませんのでご留意ください。 自己紹介 私は、某SIerで主に公共機関向けのクラウド移行を支援しているエンジニアです。昨年、今年AWS Top Engineerに選ばれており、AWSが大好きな人です。主に基盤系をやっているのであまりアプリよりのことは詳しくないです。 現地で参加したもの Keynote ・Monday Night Live ・CEO Keynote ・Data and AI Keynote ・Dr.Warner Keynote 上記のセッションに参加しました。 KeynoteはどうせYoutube公開されるからでな
[プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた | DevelopersIO
[プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた いわさです。 今朝のアップデートで Amazon Bedrock Studio というものがプレビューリリースされました。 Amazon Bedrock Studio は、組織ユーザーに Bedrock のプレイグラウンドや、ナレッジベースやエージェントなどのコンポーネントを使って Bedrock アプリケーションのプロトタイプを作成し、評価したり組織内のユーザーへ共有出来るアプリケーションです。 要は、Amazon Bedrock コンソールの一部機能を IAM Identity Center ユーザー向けに、専用の Web アプリケーション（IAM Identity Center アプリケーション）として提供し
![[プレビュー] Bedrock コンソールに近い機能を組織のユーザーへ提供する Amazon Bedrock Studio がプレビューで登場したのでセットアップして使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5fc5d99a3e7a01fd348d908da8951bc0b3ca082b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Famazon-bedrock.png)
運用6年目・500万人が使うアプリのDBをSQLiteからFirestoreに移行した話（iOSDC 2021）
https://fortee.jp/iosdc-japan-2021/proposal/b1b94452-dd4b-4581-8797-f348919ee362
redashmanを使ってRedashのクエリをお手軽にバックアップする - ariarijp’s blog
今日はRedash Advent Calendar 16日目ですが、この記事はAdvent Calendarの記事ではありません。 qiita.com 12/16の記事はvankobeさんによる、Redashの結果をGoogleスプレッドシートで扱う事例の記事です。 qiita.com Redashの便利さと、その裏にあるつらみ Redashを活用しはじめて1年半ほど経ちますが、今ではRedashなしで業務が回らなくなるほどに使い倒しています。 しかし、Redashの活用が進んだことによって「Redashが落ちたら全てが止まる」といった状況になりつつあることも事実で、たまにRedashの収容サーバーからアラートが飛んでくると、背筋が凍る思いをしています。 それだけでなく、Redashの利点でもある「誰でもクエリを実行・編集できる」というのが、運用上問題になることも何度か経験してきました。
AWS Step Functionsの単体テスト実施手順 | takemikami's note
AWS Step Functionsの単体テストをローカル環境で実施したい場合、 AWSのドキュメントに「AWS Step Functions Local」を使った方法が記載されており、 AWS Step Functionsから呼び出す処理(Lamda,SQSなど)をモックする方法もあります。 ステートマシンのローカルテスト | docs.aws.amazon.com https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/sfn-local.html モックサービス統合の使用 | ステートマシンのローカルテスト | docs.aws.amazon.com https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/sfn-local-test-sm-exec.html
構成図を『描く』から『書く』へ：DiagramsでAWS構成図かいてみる - Qiita
やること "Diagram as Code"ことDiagramsで、AWS構成図をコードでかいてみる Diagramsとは Diagramsは、Pythonモジュール Diagrams使うにはGraphvizも必要 Pythonのコードでクラウドシステムアーキテクチャを描画できる サイトはここ https://diagrams.mingrammer.com/ サイトにあるDiagramsの説明は、英語だけど分量が少ないので一読すべし！（自動翻訳で十分理解できる） このように、構成図をPythonのコードで書ける。このコードを、Pythonスクリプトとして実行すると、構成図が画像として出力される。 良いところ 構成図をコード化できる コード編集で作図編集できるので、画像修正より楽 コードなので、CloudFormationのコードとまとめてGitで管理できる AWS以外のアイコンも用意されて
AWS CodeBuildでビルド成功時にAmazon Bedrockを使用して褒めてくれる仕組みを作成してみた | DevelopersIO
AWS CodeBuildのビルド終了時に通知することが可能なのですが、Amazon SNSでのメール通知を設定するだけだと無機質なJSONが送られてくるためAmazon Bedrockを使用してビルド成功時に褒めてくれるようにしてみました。 通知ルールの作成 通知に使用するAWSリソース Amazon SNSでAWS CodeBuildのビルド成功通知をAWS Lambdaに行い、Lambda関数からAmazon Bedrockのinvoke_modelを実行してレスポンスのテキストをAmazon SNS経由でメール通知するシンプルな構成としています。 簡易的にはなりますが構成は以下の通りとなります。 作成したコード Lambda関数のコードはPythonで作成しています。 今回はAnthropic Claude 3 Sonnetを使用してメッセージ APIを実行するようにしています。
Web ブラウザ上で Wasmを使ってOpen Policy Agent (OPA) を実行 - Qiita
はじめに 汎用ポリシーエンジンである Open Policy Agent では、WebAssembly 形式でポリシーを配布可能です。本記事では、WebAssembly 形式で出力された Open Policy Agent のポリシーを Web ブラウザで評価することを試してみた内容を紹介します。 Open Policy Agent とは Open Policy Agent (OPA) は OSS の軽量で汎用的なポリシーエンジンです。開発時や運用時におけるルール(ポリシー)を事前に定義することで、ポリシーに反する情報を検出できます。OPA はポリシーを定義するための宣言型言語 Rego と、ポリシー評価のためのシンプルな API を提供しています。 WebAssembly とは WebAssembly とは、 Web ブラウザ上で実行可能なバイナリコードの仕様です。C/C++, Rust
ArgoCD の Config Management Plugin (CMP)を理解し、Plugin でマニフェストの変数置換を行う - kencharosの日記
概要 前職の同僚がずっと、PullRequest ごとにプレビュー環境でアプリケーションをデプロイしたいと言っていた。 確かにそれができれば便利ではあるけど、たとえ k8s の力を借りても実現するまでの手順は多く、遠い夢かと思っていた。 でも ArgoCD で頑張ればその夢は近くなるかもしれない。 これは、ArgoCDの Config Management Plugin (CMP) と呼ばれる機能を使って、動的なマニフェスト生成を行い、さらにPullRequestごとの固有の情報をマニフェストに柔軟に埋め込むための仕組みを考えてみたという話。 想定読者 k8s にある程度詳しい ArgoCD にもある程度詳しい ArgoCD の ApplicationSet や Generator の機能を知っている、あるいは調べればわかる方 参考資料 GitブランチやPullRequestごとにプレビュ
分析基盤をAthenaからBigQueryへノーコードで移行した話 - mikan Developers' Blog
この記事はmikan Advent Calendar 2023の24日目の記事です。 こんにちは。株式会社mikanでPlatform Engineeringチームのリーダーをしております。@hoshitocat です。Platform Engineeringチームは最近できたチームですが、その取り組み内容についてはまた後ほどご紹介できればと思っています。 昨日はQAチームのchiakiさんによる、 「テスト自動化で試行錯誤した話」でした。QAの自動化に取り組みたいと思っている方や、QAコスト削減方法に悩んでいる方はぜひ読んでみてください！ note.com なお、mikan Advent Calendar 2023の他の記事は下記のリンクからご覧ください。 adventar.org はじめに これまでの分析基盤の課題 BigQuery利用への意思決定 Glueを使ってみるが断念 Athe
秒間数十万クエリをさばく機械学習モデルを継続的に再学習し稼働させる | CA BASE CAMP 2021
サイバーエージェントの社内エンジニアカンファレンス「CA BASE CAMP 2021」で発表した資料です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なぜ「Infrastructure as Code」が必要なのか
AWS Batchを用いた機械学習の分散推論 #AWSDevDay
Observability はじめの一歩 CloudWatch Synthetics