MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials) Terraform実行時のMFA認証を使ったAssume Roleを楽にできる方法がないか調べていたら、以下のコメントを見つけました。 Doesn't ask MFA token code when using assume_role with MFA required #2420 どうやらツールや長いコマンドの実行なしで、MFA認証ありでも簡単にAssume Roleができそうです。 便利だったのでブログにしてみました。 TerraformのMFA認証事情は以下のブログをご確認ください。 結論 この方法では、aws-vaultやaws-mfaなどのツールは不要です。 以下のようにProfileを用意して、terraformのコマンドを打つだけ

こんにちは！コンサル部のinomaso(@inomasosan)です。 CloudWatchに「Amazon CloudWatch Internet Monitor」という新しいモニタリング機能がプレビューでリリースされました。 概要 AWS公式ブログでも紹介されています。 この新機能はインターネットの問題がアプリケーションのパフォーマンスと可用性にどのように影響するかを可視化することができます。 AWSで自社のインターネットの監視に採用しているデータと同じものを利用しているとのことで、ちょっと心躍りますよね。 CloudWatch Internet Monitorの仕組みは、以下のドキュメントで情報提供されているので、興味のある方は是非読んでみてください。 CloudWatch Internet Monitorのドキュメント 英語でプレビュー版のドキュメントが追加されています。 対象リソ

セッション スピーカー：Scott Ward、Mrunal Shah セッションレベル：300 - Advanced サービス：Amazon GuardDuty, Amazon Inspector, Amazon Dtective カテゴリ：セキュリティ はじめに AWSの年に一度の祭典 re:Invent 2022に参加しております。 現地オフラインで AWS security services for container threat Detection というセッションに参加してきました。 セッションの概要は以下となります。 概要 コンテナは、多くの AWS のお客様のアプリケーション モダナイゼーション戦略の基礎です。実稼働環境でコンテナーへの依存度が高まっているため、コンテナーのワークロード用に設計された脅威検出が必要です。セキュリティ チームと DevOps チームのコンテナ

こんにちは！コンサル部のinomaso(@inomasosan)です。 CloudFrontで検証期間中はIP制限したい場合ってありますよね。 今回はCloudFront Functionsで単純なIP制限くらいならできるという噂を聞いたので試してみました。 この記事で学べること CloudFront Functions作成方法 IP制限のJavaScriptサンプルコード 前提知識 CloudFront Functionsとは CloudFrontのエッジロケーションで、軽量なJavaScriptを高速かつ安価に実行できるサービスです。 詳細については弊社ブログにまとまっているので、こちらをご参照ください。 CloudFrontのIP制限おさらい CloudFrontにはセキュリティグループがないため、CloudFront Functions以外だと以下の方法で対応する必要があります。

AWS Prescriptive Guidance（AWS規範的ガイダンス）について紹介されているものが少なったので、ひょっとして未だ認知度低いんじゃないか？ということで紹介したいと思います！ AWS Prescriptive Guidance（AWS規範的ガイダンス） Amazon Web Services (AWS) Prescriptive Guidance provides time-tested strategies, guides, and patterns to help accelerate your cloud migration, modernization, and optimization projects. These resources were developed by AWS technology experts and the global communi

データアナリティクス事業本部の貞松です。最近は少々データレイクに想いを馳せています。 今回は業務で発生したAmazon Athenaのクエリ集計について、実現したい内容とその実現方法を解説します。 集計対象データと実現したい内容 集計対象データの中身 集計対象のテーブルデータは以下のようなものです。 [{"item_id":"1","score":"0.8351"},{"item_id":"2","score":"0.8026"},{"item_id":"3","score":"0.7885"},{"item_id":"4","score":"0.7789"},{"item_id":"5","score":"0.7699"}] [{"item_id":"3","score":"0.8701"},{"item_id":"5","score":"0.8219"},{"item_id":"7",

AWS環境をセキュアにセットアップする方法と、その運用方法を詳細に紹介します。秘伝のタレである具体的な設定も書いてます。みんな真似していいよ！ こんにちは、臼田です。 みなさん、安全にAWS使えていますか？(挨拶 今日は全てのAWSユーザーが安全にAWSを活用し、セキュアに運用できるようにナレッジを大量にダンプしたいと思います。 弊社サービスに関連させて書く部分もありますが、基本的にどのようなAWS環境でも適用できると思います。 ちょっと長い背景 クラスメソッドでは長いこと様々なAWSを利用するお客様を支援しています。私は特にセキュリティ周りについて支援させていただくことが多く、最近はAWSのセキュリティサービスが充実していることから、これらの初期導入や運用設計、あるいはインシデント対応やその後の組織としてのセキュリティ体制づくりなどいろんな関わり方をしてきました。 どのようにセキュリティ

いわさです。 EC2のログファイルを外部に転送したいケース多いと思います。 色々な方法が考えられると思いますが、CloudWatchエージェントを使ってCloudWatch Logsへ転送する方法があります。 さらに、サブスクリプションフィルターを使ってKinesis Firehoseを経由してS3へ転送させることも出来ます。 CloudWatch Logsで保管し続けることも出来ますが、S3へ保管してCloudWatch Logsは短期間で削除するとコスト的に良さそうなイメージがあります。 実際は、上記記事でも紹介のあるように、CloudWatch Logsは高いイメージがあるかもしれませんが、高いのはCloudWatch Logsへの転送部分であって、保存料金はS3と大きく変わりません。 AWS Pricing Calculatorで計算してみた そして、どれくらい変わるのかをAWS

GitHub ActionsでAWSの永続的なクレデンシャルを渡すことなくIAM Roleが利用できるようになったようです アクセスキー、撲滅してますか？ ナカヤマです。 目黒方面より、以下のような福音が聞こえてきました。 何がどのくらい最高かと言いますと！ GitHub Actions に AWS クレデンシャルを直接渡さずに IAM ロールが使えるようになることがまず最高で！ クレデンシャル直渡しを回避するためだけの Self-hosted runner が必要なくなるところも最高です！！✨✨✨ https://t.co/IUQmfzkIB0 — Tori Hara (@toricls) September 15, 2021 元ネタはこちら。 Ok I blogged about it. That's how excited I am. 1. Deploy this CFN templ

以降、それぞれの検知方法を紹介していきます。 検知方法①：サービスのランニングタスク数をメトリクスから検知 一番代表的な方法です。ECSコンテナエージェントは、タスク内のコンテナの状態をモニタリングしています。構成①と②においては、essential=trueのコンテナのみ含まれているので、コンテナの停止は即ECSタスクの停止となります。 あとは、ECSサービスにおけるDesiredTask Count（期待するタスク数）をしきい値としたランニングタスク数のCloudWatchメトリクスを用意しておき、しきい値を下回った時=タスクが異常終了したときにアラームを発火します。 一点、CloudWatch Alarmはある一定期間のメトリクスの状態からアラームを検知するものなので、検知までいくらかのタイムラグが有ることは注意しておきましょう。 基本的にECSのサービス運用においては、そのDesi

困っていた内容 ECS Fargate で一つのタスク定義に複数のコンテナを設定しています。一部のコンテナがメモリを占有しないようにmemoryReservationを設定しましたが、予約したはずのメモリを他のコンテナが使用し、いざ予約したコンテナがメモリを使用するとOutOfMemoryErrorでコンテナが強制停止されました。 コンテナに割り当てたメモリを別のコンテナが使用しないようにするにはどうしたら良いでしょうか。 どう対応すればいいの? コンテナ定義のmemoryパラメータによる割り当てご検討ください。 コンテナ定義 - Amazon Elastic Container Service memory タイプ: 整数 必須: いいえ コンテナに適用されるメモリの量 (MiB 単位)。コンテナは、ここで指定したメモリを超えようとすると、強制終了されます。 ECS Fargate では

AWSアクセスキーセキュリティ意識向上委員会って何？ 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 AWS CLI、どこから使っていますか？ ざっくり、以下4種類のどれかを使っている方が多数派ではないでしょうか。 ローカル端末 AWS内に構築した管理用EC2にSSHを利用して接続 AWS内に構築した管理用EC2にSSM(セッションマネージャ)を利用して接続 AWS CloudShell 一体どう違うのでしょうか。 状況によって良し悪しは異なる

Hiveパーティション（カラム名ありパーティション）は、データレイクで一般的なファイルレイアウトです。本日は、year、month、dayのパーティションキーのテーブルに対してPartition Projectionを用いたHiveパーティションのパーティションプルーニングを通して、Hiveパーティションのレイアウト、複数カラム、digits指定について解説します。 今回は、Partition Projectionの応用編になりますので、Partition Projectionに基本については、以下のブログをご覧ください。 Hiveパーティション（カラム名ありパーティション）とは データファイルを日付などのキー情報に基づきフォルダ毎に分割することをパーティションと言います。そのフォルダ名にキーと値の情報を指定する方式をHiveパーティション（カラム名ありパーティション）と言います。 Hiv

こんにちはコカコーラ大好き、カジです。 7/3に行われたDevelopers.IO 2020 Connect で、「基礎から応用までじっくり学ぶECS Fargateを利用したコンテナ環境構築」というタイトルで、お話しさせていただきました。 ライブに来ていただいたみなさま、ありがとうございました！ お客様や自社の開発部門から、急に「次のシステムはコンテナ使いたい」と言われ、コンテナ実行環境を構築しなければならない状況に直面し、慣れない部分が多いと思います。 AWSにはコンテナ向けのサービスは複数あり、少人数でも運用しやすいのがECS Fargateです。そんなECS Fargateを中心に、実用的なコンテナ実行環境をどのように構築すれば良いのかについて解説しました。 目次 なぜコンテナ? なぜECS Fargate? AWSコンテナ関連サービス コントロールプレーンのざっくり比較 データプ

はじめまして！6月1日付けでクラスメソッドの事業開発部にジョインしましたtjinjinです！ これまで 文系の大学を卒業後、新卒でSIerにSEとして入社していろいろなことをしておりました。その後Web系ベンチャー企業でインフラエンジニアとして働いておりましたが、もっと大きなことをしたいとこちらで働くことになりました！ これから 一応SREとして働いていくので、名前負けしないように頑張って行きます(๑•̀ㅂ•́)و✧圧倒的成長していきます。 最近 自宅にエアロバイク導入済みなので、アニメ見ながら自転車を漕いでいます。天候の影響を受けないので「雨降っているから今日はしれねー、マジ、つれーわー」や「ジムまで行くのだるいわー」などの言い訳ができないのでおすすめです！ 抱負 やっていくぞ！！！

モバイルアプリサービス部の五十嵐です。 先日、あるRailsアプリケーションの開発環境を同僚のマシンに作成しようとしたところ、gemのインストールに1日かかってしまいました。環境構築は手順化されていたのですが、トラブったのは主にNative Moduleを利用する libv8 、 therubyracer 、 rmagick などのおなじみの面々です。手順を作った時は、これらのgemのインストールに必要なライブラリを brew install で最新バージョンをインストールするだけでよかったのですが、時が経ちライブラリの最新バージョンが更新されていたことが主な原因でした。この状況はいかんな〜と思い、Railsアプリケーションの開発環境もDockerにすることにしました。 本記事では、Railsアプリケーションの開発環境をDockerにするときに検討したことや問題点などを書いています。なお、

西澤です。RDS MySQL 5.7環境からAuroraへのレプリケーションを利用したデータ移行を行う機会がありましたので、手順をまとめておきたいと思います。 Auroraリードレプリカ 他のデータベースエンジンからの移行はまだ敷居が高いのですが、既にRDS MySQLを使っているユーザであれば、Amazon Auroraに乗り換えない手はありません。MySQL 5.6との互換性があるのでアプリケーション側の変更はほぼ不要、より高性能、より堅牢なストレージの自動拡張機能付き、参照用ノードをFailover先としても利用可能、と、もう良いことばかりです。 ただ、RDS MySQLからAuroraに乗り換えるには、データ移行を避けて通ることができません。可能であれば、DB移行に伴うシステムのダウンタイムは限りなく0に近い方が望ましいです。そこで、なんとも便利な機能がリリースされているではないで

[レポート] Fate/Grand Orderにおける、ディライトワークス流AWS導入＆活用術 #AWSSummit はじめに 2016/6/1(水) ~ 6/3(金)に開催された「AWS Summit Tokyo 2016」のDay2、General Conference SMB Track「【ディライトワークス様登壇】Fate/Grand Order における、ディライトワークス流 AWS 導入＆活用術」を聴講しましたので、レポートとしてまとめます。弊社でもソーシャルゲームのバックエンドを構築することがあり、こういったテーマは非常に関心があります。 Fate/Grand Orderとは Fate/Grand Orderは、TYPE-MOON原作のFateシリーズ「Fate/stay night」を元にして製作されたスマートフォン専用オンラインロールプレイングゲームで、iOS版とAndr

はじめに DockerでコンテナイメージをbuildするときにはDockerfileにOSイメージの指定や導入パッケージ、実行したいコマンドなどを記述してパッケージングします。 このDockerfileはほぼコマンドべた書きのような形なので難しいわけでは無いのですが、実行処理が多くなればなるほど長く読みづらくしまうし、テストも大変です。また既にChefやPuppet、Ansibleなどの構成管理ツールを用いているのであれば、既存の資産をうまく流用したほうが楽が出来ます。 ということで、Dockerfileにはほとんど仕事をさせずに、Dockerfileからchef-soloをキックしてコンテナをプロビジョニングしてみました。 やってみた ファイル構成は以下のような形です。今回はopscode謹製のbuild-essentialをレシピとして用意しました。 . ├── Dockerfile

はじめに railsとwebサーバを連携する場合はapache × passengerまたはnginx × unicornのどちらかを使用することが多いかと思います。 昔はwebサーバといえばapacheでしたが、最近はかなりnginxが使われてきています。 apacheとnginxのを比較したときに、静的ファイルはnginxが動的ファイルはapacheが早いと言われています。 そこで今回はnginxにリバースプロキシの設定をし、apacheと連携してみました。つまりhtmlや画像などの静的ファイルはnginxで処理し、railsの処理はapache経由で処理させることをやってみました。 開発環境 今回はmacのvirtual boxにubuntuをインストールし環境を構築しました。 ubuntu 12.04 32bit apache 2.2 nginx 1.6 ruby 2.00 rai