「Terraformデプロイパイプラインを作るなら、どのツールが自分の組織にあっているのだろう？」 Terraformのデプロイパイプラインの実装方法は、選択肢が多くて迷ってしまいます。 この記事では、デプロイに使用できるツールをまとめてみました。 デプロイパイプラインのツール選定の参考になれば幸いです。 前提 Terraformは様々なリソースを管理することができますが、今回はAWSリソースをTerraformで管理する想定としています。 所々AWS固有の単語がでてきますが、ご了承ください。 なぜTerraformのデプロイパイプラインは必要なのか？ デプロイフローをおさらいして、デプロイパイプラインなしの運用の課題を考えてみます。 Terraformのデプロイフロー Terraformで構成管理している場合、リソースの設定変更時は以下のようなフローで行うことが多いです。 コードの編集

TerraformのAWS Provider Version 4へのアップグレードに伴うコード改修がおっくうな方へ 便利なツールありますよ 先日TerraformのAWS Provider Version 4がリリースされました。 S3バケット周りで大規模なリファクタリングがあり、そのままのコードで単純にproviderだけアップグレードするとエラーになります。コードを書き換える必要があるのですが、中々面倒です。 そんな私のような方にピッタリなツールを見つけたのでご紹介します。tfrefactorです。既存のS3バケット(aws_s3_bucketリソース)のコードをコマンド一発でv4準拠のコードに書き換えてくれます。 インストール方法 バイナリをダウンロードしてパスを通す方法とmake installする方法があります。私は前者でやりましたが、「開発元を検証できないため開けません」のエラ

タイトル修正しました。最初「TerraformでIAM Policyを書く方法4つと失敗する方法ひとつ」というものでしたが、失敗する方法は単に私の書き方が間違ってただけでした TerraformでIAM Policyを書く方法は色々とあるので、紹介していきます。 今回は例として、こちらの公式ドキュメントに出てくる以下ポリシーを使いたいと思います。 { "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": "dynamodb:*", "Resource": "arn:aws:dynamodb:us-east-2:123456789012:table/Books" } } ファイル外だし policyの中身はtfファイルに書かず、JSONファイルとして外だしします。それをfile関数を使って参照します。 fil

タイトルの通り、地味に嬉しいアップデートです。 Access your AWS Regions faster using the AWS Management Console 概要 今までのマネジメントコンソールのリージョン選択画面は以下のように リージョン名のみ のリストでした。 新しいデザインを見てみましょう。 リージョン名(バージニア北部)とそのコード(us-east-1) のリストになってますね。 まとめ 今まで 特定リージョンのコードを調べる際は、 ドキュメントを参照する必要がありましたが、 このアップデートでマネジメントコンソールから確認できるようになりした。 以上、地味に嬉しいアップデートでした！

describe-reserved-instances-offeringsコマンドを使用して、対象のRIの購入内容のIDを確認します。ここで購入したいRIの内容を指定して実行するとOfferingIdが表示されるのでメモしておきます。 $ aws ec2 describe-reserved-instances-offerings --region us-east-2 \ > --offering-class convertible --instance-tenancy default --offering-type "No Upfront" \ > --filters \ > Name=duration,Values=31536000 \ > Name=instance-type,Values=t3.small \ > Name=product-description,Values="Li

AWSチームのすずきです。 2019/06/24に予告されていた Amazon S3の 署名バージョン2 (SigV2) の廃止スケジュールについて、 AWSブログでスケジュール変更の告知がありましたので、紹介させていただきます。 Amazon S3 Update – SigV2 Deprecation Period Extended & Modified 参考 【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について 変更内容 変更前 2019年6月24日、全てのS3 で 署名バージョン2 (SigV2) 利用できなくなる予定でした。 変更後 2020年6月24日以降に新規に作成された S3バケットが、署名バージョン2 (SigV2) 利用がサポート外となる事になりました。 既存のS3バケットについては、2020年6月以降も署名バージョン2

ご機嫌いかがでしょうか、豊崎です。 みなさん、AWS Cost Explorerはご利用でしょうか？AWS Cost ExplorerではAWSのコストと使用状況を確認することができます。 私の検証用AWSアカウントのAWS Cost Explorerはこんな感じです。 少し前になりますが、このAWS Cost ExplorerにRIの期限切れ通知機能が追加されていましたので、ご紹介したいと思います。 やってみた 早速試してしていきたいと思います。 まずは左側矢印の「Resercation Summary」に移動して、右上のRIの有効期限切れのキーパフォマンスインジケータの中にある「Manage alerts」をクリックします。 そして、RIの期限切れアラートがを設定する方法ですが、非常にシンプルです。 まずはRIの期限切れの何日前に通知をするか選びます。複数選択可能です。特に問題がなけれ

Node.js 10.x以外のLambdaランタイムがAMI 2018.03に更新されます。OS依存のライブラリを使用している場合は互換性の問題が発生する可能性があるので注意しましょう！！ はじめに サーバーレス開発部＠大阪の岩田です。 先日AWSからLambdaランタイムが更新されるというアナウンスがありました。 Upcoming updates to the AWS Lambda and AWS Lambda@Edge execution environment この更新によりパフォーマンスやセキュリティレベルの向上が期待できる一方、OSパッケージやシステムライブラリに依存するライブラリ(Pythonを例に挙げるとNumpy、Scipy、Pillow等)を独自にビルド&デプロイしている場合は互換性の問題が生じる可能性があります。新環境への移行が実施されるまでの期間にしっかりテストを行っ

ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい

はじめに 中山（順）です AWS CLI v2が開発中なのは皆さんご存じでしょうか？ AWS CLI v2 development 今回のre:Inventでも紹介セッションが実施されました。 [レポート] DEV322: What’s New with the AWS CLI #reinvent その際に、DynamoDBのハイレベルコマンドのデモが行われていました。 AWS CLIのコマンドは基本的にAPIと1:1に対応しています。 ただし、例外的にs3のハイレベルコマンドだけ提供されていました。 これが非常に使い勝手が良く、重宝していました。 v2で登場するDynamoDBも便利そうなのでちょっと使ってみました。 やってみた 今回はAmazon Linux (1)上で実施してみました。 インストール 以下のコマンドでインストールします。 sudo pip install -e git

AWS re:Invent 2018で行われた「Keynote with Andy Jassy」セッション内で発表された、安全なデータレイクを簡単に設定できる新サービス「AWS Lake Formation」。 re:Invent 2018 / Andy Jassy Keynote / AWS Lake Formation | Amazon Web Services ブログ AWS Lake Formation (coming soon) builds up a secure data lake in days. Ingest, catalog, clean, transform & secure your data. Combine analytics with EMR, Redshift, Athena, Sagemaker & QuickSight! #reInvent https:

コンニチハ、千葉です。 EKSのDeep Diveにセッションレポートをお届けします！！ 概要 以下、公式Descriptionのサマリー(和訳したもの)です。 この講演では、KubernetesクラスタをAmazon Elastic Container Service for Kubernetes（Amazon EKS）で稼働させるために必要な構成とネットワークの詳細を説明します。 2018年にAmazon EKSの新機能とアップデートを紹介します。 スピーカー Eswar Bala - Engineering Manager, Amazon EKS, AWS アップデート情報まとめ 出オチ感ありますが、セッションで発表されたアップデート情報をまとめておきます！ k8sバージョンアップデート機能がもうすぐリリースされる！ クラスタバージョンAPIのインプレースアップデート 東京リージョン

はじめに AWS re:Invent 2018の中で開催されたイベント「Monday Night Live」にて、AWS Global Acceleratorが発表されました！ New – AWS Global Accelerator for Availability and Performance AWS Global Accelerator AWS Global Acceleratorは、只のグローバルロードバランサーではありません。 通常のグローバルロードバランサーと同様に以下の機能があります。 ジオロケーションに基づいたバランシング アプリケーションモニタリングに基づいたバランシング 重み付けに基づいたバランシング 更に、AWSが持つ広大なネットワークの中で一意のスタティックなAnycast IPアドレスを2つを割り当てることで、クライアント側には一切の変更をさせずにアクセスが可能

※: 本表は現在確認できる情報から筆者が独自に作成しています。 注意 Aurora ServerlessのData APIは現在Beta版のため、変更される可能性があります。 Data APIではトランザクションはサポートされません。 レスポンスは最大1,000行で1MBのサイズ制限があります。 現在利用可能なリージョンは米国東部 (バージニア北部)のみです。 コネクションは最大1分でタイムアウトします。 認証情報はSecrets Managerを使ってDBに接続します。 やってみた 事前設定 以下の状態を前提とします。 リージョン: 米国東部 (バージニア北部) Auroraエンジン: Aurora Serverless 5.6.10a まず、Aurora Serverlessを起動します。Aurora Serverlessの起動方法は以下のエントリを御覧ください。 Aurora Ser

Testing in ProductionとMonitoring Driven Developmentについて調べたまとめ サーバーレス開発部の阿部です。 今日はサーバーレス開発のテストにつきまとう課題について調べていたらたどり着いた言葉であるTesting in ProductionとMonitoring Driven Developmentを取り上げてみようと思います。 【背景】サーバーレス開発のテストにつきまとう課題 以前、Serverless ArchitectureとMicroservice Architectureの違いに触れた時に、Serverless Architectureの特徴としてマネージドサービスを使い倒すことをあげました。 マネージドサービスは便利なのですが、使い倒すという観点になるとこれがなかなかに曲者です。以前サーバーレス開発部の和田もこのような記事を書いてお

つまりは、オートスケールやタスク数設定によるコンテナ増減に連動して、Route 53のレコードが自動的に書き換えられるということすね。 従来から存在したRoute 53のAuto Naming 実は弊社大瀧が書いた、下記記事に有るように、Route 53のAuto Naming APIを利用したサービスディスカバリー実装の機能自体はありました。 Amazon Route 53 Auto Namingでサービスディスカバリを実現する ｜ Developers.IO 今回紹介する機能は、これをECSに拡張したものと言えます。 実際にECSサービスディスカバリーを設定してみる 前置きが長くなりましたが、実際にECSに登録する様子を見てみましょう。既に、既存のECSクラスターとタスク定義がある前提で解説していきます。 従来どおり、ECSのサービスを作成していきます。今回は起動タイプもFARGATE

AWS東京リージョン、 デフォルトVPCに「Aurora Serverless」のクラスタを設置しました DBクライアント(EC2) AWS東京リージョン 利用AMI :Amazon Linux 2 AMI (HVM), SSD Volume Type - ami-e99f4896 インスタンスタイプ : c5.2xlarge (vCPU:8) DBクライアント : mariadb-5.5.56-2.amzn2.x86_64 検証方法 DBクライアントからmysqlコマンドを利用して4並列でDB更新をループで実行 AWSコンソールから 「Aurora Serverless」のキャパシティ変更を「2」「4」「8」「16」まで実施しました。 利用スクリプト sudo yum install mysql -y echo '[client] password=<xxxxxx>' > ~/.my.c

こんにちは、坂巻です。 Tenable.ioを利用した脆弱性診断に関するエントリです。 AWSの適正利用規約では、許可のない脆弱性診断等は禁止されており、事前に申請が必要となります。AWSへ申請を行ってから、許可まで時間がかかりますので余裕をもった対応が必要となります。 時間をかけずに脆弱性診断を行いたいと思った事はありませんか？ AWS Marketplaceに公開されているNessusScannerを利用すれば、AWS事前承認済みのため、すぐに脆弱性診断を行うことができます！ 本エントリは15分位で試せると思いますのでTenable.ioに触ったことがない方はぜひやってみてください。 スキャン結果はTenable.ioにアップロードされ、そちらから確認することになりますので、Tenable.ioのアカウントが必要になります。アカウントがない場合はこちらよりトライアルアカウントを作成して

ども、大瀧です。 AWSのDockerコンテナ管理サービスAmazon ECSの管理画面を眺めていたら、ECSサービスの設定画面にサービスタイプという項目が追加されていました。本記事ではサービスタイプとして新たに追加されたDAEMONタイプをご紹介します。 ECSサービスとDAEMONタイプ ECSではDockerコンテナの実行数や配置を管理するECSサービスという機能があり、従来はDockerを実行するホスト(ECSインスタンス)の配置ルールをある程度決める一方で、1ホスト1コンテナと配置する仕組みがありませんでした。今回追加されたDAEMONタイプは、ホストの増減に合わせて1コンテナずつ実行する新しいECSサービスの設定です。なお、DAEMONタイプの追加に伴い、従来のルールベースのECSサービスはREPLICAタイプと分類されるようになりました。 設定方法と動作確認 動作確認環境 :

現在開催されている、AWS Summits 2018 | San Franciscoにおいて、AWS Secrets Managerが発表されました。 AWS Secrets Manager: Store, Distribute, and Rotate Credentials Securely | AWS News Blog 2018年4月9日更新 AWS Secrets Managerを学ぶ時に便利なリソースや、概要、構造、チュートリアルなどをまとめた記事を公開しました。こちらも合わせて御覧ください。 機密情報を一元管理できる「AWS Secrets Manager」とは？概要と主要機能、動作原理、各種リソースまとめ __ （祭） ∧ ∧ Y　 ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉     Secrets Managerﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ AWS Secrets Mana