AWS認証情報が盗まれる2つのライブラリ改ざんについてまとめてみた - piyolog
2022年5月24日（米国時間）、SANS ISCのフォーラムでPython向けライブラリの1つ（その後PHP向けライブラリでも判明）が第三者により不正なコードを含むアップデートが行われていたとして注意を呼び掛ける投稿が行われました。その後この行為に関わっていたとして実行者とみられる人物が顛末を公開しました。ここでは関連する情報をまとめます。 改ざんされた2つのライブラリ 今回影響が確認されたのPython Package Index（Pypi.org）で公開されている「ctx」、Packagist（Packagist.org）で公開されている「PHPass」の2つ。 影響を受けたライブラリ インストール実績 改ざんされたとみられる期間 概要 ctx 約75万回 2022年5月14日～5月24日頃 辞書(dict型オブジェクト)を操作するユーティリティを提供するPython向けのパッケージ
S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
Amazon Aurora（PostgreSQL）にてパーティションテーブルを活用した大量データを取り扱うDBの構築と実運用 - ZOZO TECH BLOG
こんにちは、基幹システム部USEDチームの柳瀬です。現在は主にZOZOUSEDで取り扱う商品の価格算出に関するシステムの開発・運用を中心に担当しています。 先日、とある案件でAmazon Aurora上のPostgreSQLに新規でのテーブル作成を伴う機能を開発する機会がありました。そのテーブルは3億件ほどのレコードを格納し、高頻度の参照および日次でのデータ追加が行われるものでした。 大量データを扱ううえでクリアすべき点として「処理速度など性能面での問題が発生しない事」があります。実装にあたってこの問題をクリアするために工夫した際に、パーティションテーブルを活用する事で解決する事ができましたので、その時の経験談をお伝えしたいと思います。 なお、今回の記事ではPostgreSQLを対象に説明しております。パーティションテーブルが実装されている他のRDBMSに関してもある程度は参考にできるかと
今までに起こった AWS 障害情報履歴
今までに起こった AWS 障害情報履歴 AWSに過去どのくらい障害が発生したかを調べる必要がでたので、AWSが公表している公式の情報がないかを探してみるも、公式情報が全然見当たらない・・・。 仕方ないので、AWSサポートに問い合わせてAWSエンジニアの方へ電話で確認するも、AWSとしては過去の障害についてまとめて公表をしていないとの事でした。 SLAのからみなどから、きっと正式に公表がむずかしいのかもですね。 ということで、AWS公式情報がないので非公式情報ではありますが、ネットで確認調べる限りの情報をまとめてみました。 AWSは全世界にリージョンがありますが、日本のリージョン（東京と大阪）に絞って記載します。 2021年02月19日(金) az1障害発生 障害発生時間 ：約6時間 （2/19 23時 ～ 2/20 5時） 影響範囲 ：az1 のEC2、EBS 原因 ：セクショ
AWS App Runner Pricing – Fully managed container application service – Amazon Web Services
You are charged for the compute and memory resources used by your application. In addition, if you automate your deployments, you will pay a set monthly fee for each application that covers all automated deployments for that month. If you opt to deploy from source code, you will pay a build fee for the amount of time it takes App Runner to build a container from your source code.
AWSでAZ障害が起きたので困ったことを書いておく - なんかかきたい
前にも似たようなこと書いたなと思ったけどもう一年半も前のことになるのか t-cyrill.hatenablog.jp ご存知の通り昨日 2021/02/19 23:20頃 AWSにて東京リージョンの一つ apne-az1 にて大規模な障害が発生。多くのAWSを利用していたサービスで影響があった。 そんな私はいつものように アラストリリィ アサルトリリィ ラストバレット というゲームを呑気にプレイしていたのだけど、23:25 から緊急メンテに入ってしまった。 どうしたんだろうと思っていたら、社内SlackにてAWSを利用しているサービスがたまに応答しなくなる、Elasticacheが切り替わったなどなどの報告が入り、もしかすると面倒ごとかなと思いながら対応することになった。 起きていたこと 既にAWSからも公開されていることであるが、今回は2019年8月に起きた障害と類似するタイプの障害だっ
片づけの魔法でFargateの費用を65/168にしましょう - エムスリーテックブログ
こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 前回の記事で書いたように、 現在、クラウド化推進で、多くのサービスのAWS移行を実施している関係で知見が貯まっているので、今回もインフラの話題です。 横浜アリーナは、1989年4月1日に神奈川県横浜市に開業した多目的イベントホール。本文には特に関係ありません。 使わないなら片付けましょう 検証環境の監視通知は無視してよい? ECSとCloudWatch Alarmの通知を片づける魔法 ECSの停止/再開 CloudWatch Alarmによる通知の停止/再開 We are hiring! 使わないなら片付けましょう 検証環境で動いているサービスのうち、主に人が使うためのサービスは人がいない時間帯は動いている必要がありません。 例えば、スタッフ向けの管理画面は、検証環境では、検証用のデータを投入したり、設定
RDS Proxyを使ってLambda + RDSの構成を作る
いくつかのエンドポイントとDBがあれば完結するアプリケーションの場合、わざわざWebサーバーやらなんやらをを用意するのは面倒なので、サーバーレス構成で作れると楽ちんです。 最近まではLambdaからRDSに直接接続するような構成はある程度スケールした場合に同時接続数の問題が起こりえるためよろしくない、とのことでしたが、RDS Proxyによってその問題は解決したとのことです。 参考：なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する 仕事でちょうどLambda + RDSの構成で開発する機会があったので、その際に得た知識なんかをまとめておきます。 構成図 VPC、RDSあたりはアプリケーションのバックエンドとみなし、Terraformでリソースを定義していきます。 API Gateway、Lambdaはフロントエンドと捉えて、Serverless Frameworkで作りま
Next.jsをAWSにデプロイするための実践的な環境を作るぞ！
Next.jsをデプロイするぞ！ いま、Next.jsを使って開発を行なっています。 Next.jsのデプロイ先としては、開発元のVercelが提供するプラットフォームVercel Platformがあります。 公式が言うにはVercel Platformが推奨ということにはなっていますが、今回はバックエンド側もAWS上にあるので、フロントエンドもAWSにあったほうが何かと便利！ということでAWS上にデプロイすることにしました。 Serverless Next.js Componentを使うぞ！ デプロイにはServerless Next.js Componentを使います。 Serverless Componentsは、Serverless Frameworkを介してサーバーレスなアプリケーションのよくある構成を設定ファイルだけでいい感じにデプロイしてくれる便利なヤツです。 Server
Terraform で ALB 用 AWS WAF v2 を構築する
概要 やりたいこと Terraform で ALB 用の AWS WAF v2 を構築したい。 過去に AWS WAF v1 は Terraform で構築した。 ALB 用 AWS WAF v1 (Classic) に Terraform でルール適用する CloudFormation で AWS WAF v2 は構築した。 CloudFormation で AWS WAF v2 に AWS Managed Rules を設定する Terraform WAF v2 WAF v2 リソースを Terraform で作成する場合、以下のドキュメントに全て載っている。 Resource: aws_wafv2_web_acl 「Managed Rule」サンプルをそのままコピーして実行すれば「managed-rule-example」 ACL が作成される。 以下の AWSManagedRule
SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ
誰一人見捨てない!!! どうも、かわしんです。Celery は見捨てるんです。 この記事は Pythonその2 Advent Calendar 2019 の 15 日目の記事です。 やや強めのタイトルですが、AWS SQS を使った非同期ワーカーでまともな実装は ndkale しかないという内容です。Celery は論外です。 github.com 前半はディスってばっかりなので、ndkale のことだけを知りたい場合は途中の「大本命 ndkale」から読んでください 前提としての欲しい機能 まず、諸々をディスる前に非同期ワーカーとして欲しい機能をあげておきます。 正しく SQS を使って信頼性のあるタスク実行をする 即時再実行をする 複数のキューを使い分ける。また同じタスクでも動的に利用するキューを切り替えたい Dead Letter Queue も使えると嬉しい まず Celery を
AWSソリューションを利用して負荷テストを行う
こんにちは。クリスマスイヴイヴですね！みなさんいかがお過ごしでしょうか。 マクアケという会社でSREしてます。Naganeです。 という事でこの記事はMakuake Advent Calendar 2020 23日目の記事になります。 突然ですが皆さん。負荷テストしてますか！ 苦労した末に作り上げたサービスを世の中に出し、これからさぁやっていくぞ！となっている中 アクセス集中でサイトダウン。悲しいですよね。 そうならないためにも、公開前に実際にある程度アクセス集中状態を擬似的に作り出し 実際に提供したい体験が得られるか確認するというのはとても大切な事です。 実際に負荷テストをしようとすると大変な所 しっかりとした負荷テストを実施しようとした時に意外と大変なのが環境の準備です。 負荷をかける先が接続制限されていたり 作成した実行環境が思ったより負荷が出ずカーネルパラメータのチューニングを強い
あと2時間でElastiCacheのメモリが枯渇！そのときあなたは何をしますか？
突然ですが... あなたは、あるゲームプロジェクトの本番リリース2日前にサーバエンジニアとしてJOINしました。いざリリースを迎えたとき、ElastiCacheのメモリが突然危険域を超え、さらにあと2時間で枯渇しそうな状況になりました。 さて、この状況におかれたあなたは何をしますか？ はじめに モバイルゲームのシステムは新しいイベントをopenするとトラフィックが2倍、3倍、時には普段の10倍以上来ることがあり、トラフィックの変動が非常に大きい特性があります。 新しいゲームのリリース時はより顕著で、想定以上のトラフィックが来ることもしばしばあります。 この記事は、あるゲームプロジェクトの本番リリース時に大規模トラフィックが来た際のサーバトラブルを題材に、 どのような観点で問題を切り分けていったのか、トラブルシュートのプロセス どのような準備(負荷テスト)をしていれば防げるのか という話をし
TerraformでDLMとCloudWatchEventを作成する
やったこと TerraformでAmazon Data Lifecycle ManagerとAmazon CloudWatch Eventsを作成しました。 DLMでEBSのデイリーバックアップ、CloudWatchEventでEC2の定時起動/停止をやっています。 決まった時間しか使用しない業務システムやテスト環境等で使えるかもしれません。 コード 以下、コードを掲載し簡単に解説させていただきます。 VPC, EC2等 ※DLMと関連するため記載しますが、こちらについてはよくある内容だと思いますのでさらっと読む程度で良いかと思います。 # VPC resource "aws_vpc" "test_vpc" { cidr_block = "10.1.0.0/16" instance_tenancy = "default" enable_dns_support = "true" enable
Terraform 0.14 GA!したので新機能幾つか試してみた | DevelopersIO
どうも、コンサルティング部の後藤です。 Terraform 0.14がGAしました！0.13リリースから割とあっと言う間だった気がします。 Announcing HashiCorp Terraform 0.14 General Availability 今回はそんな0.14の新機能を幾つか試してみました。 Terraformバージョン Terraformダウンロードページから最新バージョン 0.14 が取得出来ました。 Download Terraform $ terraform --version Terraform v0.14.0 差分出力の簡潔化 嬉しい機能ですね！ 以前までは、リソースの一部を変更してPlan等を行うと、変更するしないを問わず、全ての値が出力されており、結局どの部分が変更になるのか目を凝らして見ていました。 例として、既に作成済みのSubnetのCIDRを変更した際
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2021年コンテナ最前線〜今AWSでコンテナホストするならなにが現実解なのか？〜
Amazon Simple Storage Service (Amazon S3) を開発・運⽤する⽅法 by Ryosuke Iwanaga
Terraformのレポジトリ、 ディレクトリ構成どうする？/Terraform repository, directory structure What should I do?
Notice: `aws_vpc_endpoint_service`: Error: multiple VPC Endpoint Services matched · Issue #17417 · hashicorp/terraform-provider-aws
AWS Config - Unexpected Charges and Data Analysis • vim, git, aws and other three-letter words