AWS Configのコストを95%削減しつつ記録を残すことを諦めない - Nealle Developer's Blog
はじめに SREチームの大木( @2357gi )です。 ECS Serviceのオートスケーリングやバッチなど、ECS Taskの起動停止が頻繁に行われる環境でAWS Configを有効にしていると、AWS Configのコストが無邪気に跳ね上がってしまうことがあります。 インターネット上では特定のリソースを対象外にすることによりコストを抑える手法が多くの記事として見かけますが、対象外にするとAWS Config側で「リソースタイムラインの表示」ができなくなったり、Security hubで使用する情報の記録を行うことができなくなってしまいます。 そこで、特定のリソースを「記録から除外」するのではなく、「日時記録に設定」することにより前述した懸念点を解消しつつ、コスト削減をすることができたので紹介します。 経緯 我々のプロダクトでもサービスのスケールや機能拡大に伴い AWS Config
ごあいさつ はじめましての人ははじめまして、こんにちは！BASE BANK Divisionのフロントエンドエンジニアのがっちゃん（ @gatchan0807 ）です。 今回は、ここ数ヶ月の間にOIDC（OpenID Connect）という技術を使った開発を複数行い、この技術の概観を理解することができたので、OIDCの技術概要に触れつつBASE BANKの中でどのように使ったのかをご紹介しようと思います。 OIDCとは何なのか このパートでは、まずOIDCという技術について概要を紹介します。いくつかのWebページに記載されていた内容を参考にしてまとめさせて頂いているので、記事の最後に参照元のリンクを記載しておきます。 また、OIDCをはじめとした認証・認可の仕組みには様々な用語があり、自分自身も「調べれば調べるほど知らない用語が増えて、どんどんわからなくなってきた…」という経験をしたので、
LogLog Games
The article is also available in Chinese. Disclaimer: This post is a very long collection of thoughts and problems I've had over the years, and also addresses some of the arguments I've been repeatedly told. This post expresses my opinion the has been formed over using Rust for gamedev for many thousands of hours over many years, and multiple finished games. This isn't meant to brag or indicate su
OCIについて知らない方向け AWSは知ってるがOCIを知らないという方は取り急ぎ以下のようなページを読むとイメージが掴みやすいかと思いますのでリンクを貼っておきます。 本件では細かい用語の違いなどの説明は省略します。 OCIへの移行理由 今回移行した理由はコスト削減が最大の理由でした。 オンプレからAWSに移行したのは3年前の2021年2月で当時のドル円相場は約106円でした。 2021年のAWS移行当時、RDSのReserved InstancesとEC2のSavings Plansを3年で購入していました。（通常は1年などで購入されるケースの方が多いと思いますが、歴史のあるサービスなので急激なリソースの増減はあまり無さそうではと考えたためとなります。結果としては円が強いタイミングで安く買えて助かりました） 移行を検討し始めたのはRI/SPが切れる1年前くらいで、その時点のドル円レート
feature flag管理にAWS AppConfigを導入した - Cluster Tech Blog
昔のflag管理 AWS AppConfigの導入 feature flagの管理 feature flagの利用 まとめ ソフトウェアエンジニアの浦川です。 clusterではサービス開発にfeature flagが活用されており、常時10+個程度のflagが並行して使われています。 これまでflagはgoのコードとしてハードコードされていたのですが、AWS AppConfigを利用してコードを修正することなく動的に変更できるようにしました。 昔のflag管理 ハードコードされたflagは1つのstructにまとめて定義されていて // feature flagを集めたもの type FeatureFlag struct { IsAvatarXxx bool // アバターを良い感じにする IsEventXxx bool // イベントを良い感じにする // (大量のフラグ) } app
AWS App Runner 振り返り 2023～決別・ECSを使うぞ～ - koudenpaのブログ
AWS Containers Advent Calendar 2023の4日目です。 qiita.com AWS App RunnerはAWSで手軽にコンテナを動かせるサービスで、2021年にGAしてから緩やかに使用しつつ所感を書いてきた。 AWS App Runner はおもちゃなのでそれ以上の用途には使ってはならない - koudenpaのブログ Laravel を AWS App Runner で動かしてみる - koudenpaのブログ AWS App Runner 振り返り 2022 - koudenpaのブログ 去年のAWS App Runnerのカレンダー | Advent Calendar 2022 - Qiitaではサービス内容の振り返りをしたのだが、今年は記事のタイトルにも書いた通りApp Runnerを自分の中でどう位置付けたのかの整理記事とした。正直サービス内容には
『呪術廻戦 ファントムパレード』の大規模アクセスを支えるインフラ構成と最適化 - Sumzap Engineering Blog
この記事は、2024年3月7日に開催された「CyberAgent Game Conference 2024（CAGC 2024）」のセッション内容をAIによる自動文字起こしをベースに加筆修正したものになります。 セッション概要 TVアニメ『呪術廻戦』初のスマホゲーム『呪術廻戦 ファントムパレード（ファンパレ）』は、多くのユーザーに遊ばれ大量のアクセスが来ることが予想されていました。 本セッションでは、高負荷が予想される中、どのようにインフラを構築し負荷対策を行ったのか、実際のインフラ構成図をお見せしながらお話しします。 また、アプリリリース前に行った負荷試験の流れや、リリース後の負荷状況について、具体的なメトリクスの数字をお見せしながらご紹介します。 ※セッションのアーカイブ動画 登壇内容 タイトル 『呪術廻戦 ファントムパレード』の大規模アクセスを支えるインフラ構成と最適化というタイトル
はじめに Amazon GuardDutyはどんなサービス？ S3 Protection EKS Protection Malware Protection RDS Protection Lambda Protection Runtime Monitoring Runtime Monitoring 自動エージェント設定 Runtime Monitoring 手動エージェント設定 信頼されているIPリスト/脅威IPリスト マルチアカウント管理におけるAmazon GuardDutyの活用 Amazon GuardDutyを活用したマルチアカウント設計・運用のポイント ①全てのAWSアカウント、全ての利用リージョンで有効化する ②検出結果を定期的に確認する ③Security Hubとの連携 ④世界観、コスト、体制を考慮したGuardDutyの活用 Amazon GuardDutyを活用したマ
Sidekiqで実現するRuby on Railsでの分散プログラミング - Techouse Developers Blog
初めまして、株式会社Techouseでバックエンドエンジニアをしている本澤(mottei)と申します。本日は私の携わっているプロダクトであるクラウドハウス労務で利用されている分散プログラミングの技術について紹介します。 クラウドハウス労務について 分散プログラミングについて紹介する前に、私が開発しているクラウドハウス労務について、なぜ分散プログラミングが必要かの説明も兼ねて紹介します。 クラウドハウス労務は労務業務の電子化を推進するためのクラウドサービスです。人事労務担当と従業員との手続き機能・年末調整などの法定業務など様々な機能を持っており、企業の人事労務担当者と従業員とのやりとりを簡単に行うことができます。 これらのたくさんの手続きによって集められた大量の従業員データは、クラウドハウス労務のデータベースに格納されています。クラウドハウス労務は大企業が持つ基幹システムなどの別システムとの
オンライン自習室アプリを個人で開発した件
はじめに 私は、「アプレンティス」の2期生として、現時点で約6ヶ月間、プログラミングの学習をしています。 そのカリキュラムの中で、「Sabo Learn（サボラーン）」というオンライン自習室を提供するWebアプリをリリースしました。 前置きとして、開発期間は約2ヶ月間です。（平日は仕事をしているため、実稼働はもっと少なく、約500時間が開発に使える時間でした。） また、「誰かの課題を解決する」というテーマで、実際に使ってもらえるプロダクトを目指して開発しておりますが、それと同時に、自身の転職活動のポートフォリオでもあります。 そのため、随所に、「どうしてわざわざそんな技術を使ったの？」「インフラのスペック過剰じゃない？」といったツッコミどころがあるかもしれませんが、そのほとんどは「自分が知らない技術をキャッチアップしたかったから」か、「これくらいのことなら実装できます」というアピールのため
製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 | Amazon Web Services
Amazon Web Services ブログ 製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 製造業、特に化学、素材や製薬の事業では自社製品の新しい用途の発見が新規市場の開拓に欠かせません。富士フイルムがフィルムで培った抗酸化機能を化粧品に転用した事例、森下仁丹がバイオカプセルの技術をレアメタルの回収に転用した事例は自社製品の可能性を広げた好例といえます。しかし、可能性を感じる一方で新しい用途の発見に困難を感じているお客様が多いと思います。テクノポートのアンケートに基づくと、用途開発を行っている企業の 84.5% が自社だけで有望な用途を発見するのは限界と回答しています。多様な新製品の登場や脱炭素の市場動向など、製品と求められる性能は多様であり、膨大な情報から自社製品の適合可能性を発見し育てるのは容易ではありません。先ほど挙げた富士フイルムでも、化粧品
Savings Plans 購入後に忘れずに設定したい3つの通知設定 - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 AWS のコスト最適化で最も有名なサービスであろう Savings Plans を購入後に、忘れずに行いたい通知及び監視設定について改めて記載します。 はじめに 余談 2020年1月6日 Savings Plans の利用率を確認及び通知する方法 2020年11月6日 Savings Plan が有効期限と予約期限の通知アラートに対応しました リザーブドインスタンスについて SP 購入後に忘れずに設定したい3つの通知設定 1. 有効期限切れの通知 設定方法 実際に送付された通知の例 AWS 公式ドキュメントの紹介 2. AWS Budgets による使用率の監視通知 どのように運用するのか？ 設定方法 実際に送付された通知の例 運用上の注意点 3. AWS Budgets によるカバレッジの監視通知 どのように運用するのか？ 設定方法 実際に送付された通知
ログラスの非同期処理基盤の設計と導入
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 40週目の記事です！ 1年間連続達成まで 残り 13 週 となりました！ こんにちは、ログラスでエンジニアをしております南部です。 唐突ですが、みなさんは「非同期処理」の実装を行っていますか？ 非同期処理とは、プログラムの処理を他の処理と並行して行う方法です。これにより、ユーザーの操作がブロックされることなく、バックグラウンドで時間のかかる処理を実行することができます。 Loglassではユーザーの大量のデータを取り扱うこともあり、非同期処理を多く利用しています。 今までは単一のAPIで同期処理・非同期処理どちらも行っていましたが、今回独立したインフラに処理を投げておける非同期処理基盤を導入する活動を行いました。 最近本格導入に至りましたので、背景から設計・工夫したことを共有できればと思いま
Agents for Amazon Bedrock の「Return of Control」機能の可能性を考察する - Qiita
はじめに 2024/4/23のAmazon Bedrock (AWSの生成AIプラットフォームサービス) のアップデートでは「Agents for Amazon Bedrock」の新機能として 「Return of control」(ROC) が発表されました。 当記事は、このROCの本質を紐解き、有益な活用法を導くことを目的として執筆したものです。 なお、ROCを理解するために、以前の記事で紹介したAgentsの実装例との動作の違いに着目しています。 以下の記事は、最も簡単なAgentsの実装例として比較的容易に理解できると思われますので、まず目を通していただくことを推奨します。 「Agents for Amazon BedrockでWeb上のブログやニュースを要約する」 https://qiita.com/nasuvitz/items/c34419150eaee78544cc Retu
[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 CloudWatch Logsにどのくらいのデータが保管されていて、現時点の総容量がどのくらいあるか把握したいと思ったことはありませんか？ 過去3回も思ってしまった自分のために、AWS CLI(CloudShell)を使ったCloudWatch Logsの容量を取得できるコマンドを残しておきます。 はじめに CloudWatch Logsは、Lambdaの実行ログ、API Gatewayのアクセスログ、ECSのタスクログ、CloudTrailの操作ログなどを一元的に管理できる便利なサービスです。 ただ、「CloudWatch Logsにログを置きっぱなしにするとコストが余計に掛かって勿体ない」という話はしばしば聞きます。 以下記事で紹介されている通り、圧縮率を考慮しない料金だとAmazon S3がやはり安いです。（圧縮率を考えると、更に
![[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
【執筆者紹介】 「 西根幸洋さん」 ポジション：メタバース事業本部エンジニア部マネージャー 入社時期：2023 年 10 月 業界歴：Web サービスやオンラインゲームの開発・運営に 11 年従事。主にサーバーサイド C# エンジニアとして活動し、個人として Microsoft MVP for Developer Technologies（2020-2022）を受賞。 はじめに こんにちは、メタバース事業本部エンジニア部マネージャーの西根です。 ホロアースの開発の話といえば、Unity を使ったクライアント側の実装や、アバターやライブ演出などの話が注目されがちですが、今回はサーバーサイドで利用している技術の一部をご紹介させていただこうと思います。 ホロアースの開発の裏側を知りたい、開発に参加してみたいと思っている方の参考になれば幸いです。 開発に参加してみたいと思った方はこちらから是非ご応
ECS on Fargate構成でのSysdig導入における全体費用感を把握してみよう | DevelopersIO
こんにちはカスタマーソリューション部のこーへいです！ 皆さんはSysdigを検討したものの、実際に導入した際の費用感のイメージがつかず困ったことはないでしょうか。 今回は「Sysdigを利用するためのライセンス費」と「Sysdig環境に必要なAWSリソース費」の観点にて解説しますので、本記事がSysdig導入の一助となれば幸いです。 Sysdig Secureとは 簡単に説明すると、Sysdig Secureは実行されているコンテナで発生した攻撃を検知・防御するランタイムセキュリティと呼ばれるカテゴリの製品です。 “GuardDutyとSysdigのランタイムセキュリティ機能を比較してみる”というタイトルで LTしました#hibiyatechより 最近では、GuardDutyがランタイムセキュリティ機能をサポート(詳しくは【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意
Amazon Virtual Private Cloud (VPC) flow logs extends support for Amazon Elastic Container Service (ECS)
You can now turn on Amazon Virtual Private Cloud (VPC) Flow Logs for your Amazon Elastic Container Service (ECS) workloads running on both Amazon EC2 and AWS Fargate to export detailed telemetry information for all network flows. Amazon ECS helps you deploy and manage your containerized applications easily and efficiently. VPC Flow Logs enable you to capture and log information about your VPC netw
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OIDCって何なんだー？から、実際に使うまで - BASEプロダクトチームブログ
AWS から OCI に移行してコストを約半額にした話 - Qiita
マルチアカウント管理におけるAmazon GuardDutyの活用方法 - NRIネットコムBlog
ホロアースのサーバーサイドの技術について | Blog｜ホロアース