こんにちは！コンサル部のinomaso(@inomasosan)です。 EC2のバックアップを簡単かつ良い感じに運用したいと思ったことはないでしょうか？ 弊社が無料で提供しているopswitchをご利用いただくことで、バックアップ設計時によくでてくる要件に対応することができます。 EC2バックアップ要件 今回は以下の要件を踏まえて設定していきます。 ファイルシステムの整合性を保証するために、AMI作成時にEC2を再起動する EC2が稼働しているリージョンでの大規模障害に備え、別リージョンにAMIをコピーする バックアップ失敗時にメール等で運用者に通知する 構成イメージ 今回、opswitchで設定するジョブの構成イメージとなります。 opswitchのジョブに複数のタスクを定義した場合は、タスクは順番に実行されます。 上記のジョブ定義の場合、「EC2バックアップの作成」タスクが成功時にのみ

こんにちは！コンサル部のinomaso(@inomasosan)です。 2024/3/11に「OpsJAWS Meetup#27 EC2の運用と監視」が開催されました。 直近でEC2のバックアップについて調査・検証していたこともあり、その知見をアウトプットするために登壇してきました。 登壇概要 「EC2を良い感じにバックアップして欲しい」という要望をいただいた際の要件整理や、バックアップ取得のサービス比較についてまとめました。 AMI取得時に再起動あり＆バックアップ失敗通知を簡単に設定したい、という点にフォーカスした場合、弊社が無料で提供しているopswitchも十分に採用候補になることが伝わるかと思います。 登壇動画 登壇資料 QAの補足 ありがたいことに、Meetup後にバックアップの質問を頂きました。 EC2とRDSのバックアップをBCP目的でバックアップする場合はどうしたら良いか、

こんにちは！コンサル部のinomaso(@inomasosan)です。 2024/3/29に「出張！ #DevelopersIO IT技術ブログの中の人が語る勉強会」の第2回で、CyberduckでMFAを利用してS3へ接続するための導入手順まとめ(Windows 10) について話しました。 勉強会で話したブログを取り上げた理由 ニッチだけど需要がありそうな技術を話したいなーと考えたところ、真っ先に頭に浮かんできたブログだったので取り上げてみました。 WinSCPは知っているけどCyberduckは知らない、といった方が日本だと多そうな印象だったので、布教も兼ねてウキウキで登壇準備してました。 勉強会で使用した資料 勉強会での発表方法 いつものLTとは毛色が違い、既にあるブログの解説なので発表方法をどうするかを悩んでいました。 というのもブログのみで要点を良い感じに解説するのは、自分にと

こんにちは！コンサル部のinomaso(@inomasosan)です。 先日、以下のようなS3ポリシーを見た際に、Resourceの書き方が何を意図しているのかをうまく言語化できなかったので、ちゃんと理解するため調べてみることにしました。 { "Version": "2012-10-17", "Statement": [ { "Sid": "RequireMFAForProductionBucket", "Effect": "Deny", "Action": "s3:*", "Resource": [ "arn:aws:s3:::Production", "arn:aws:s3:::Production/*" ], "Condition": { "NumericGreaterThanIfExists": {"aws:MultiFactorAuthAge": "1800"} } } ] }

こんにちは！コンサル部のinomaso(@inomasosan)です。 検証時や案件対応時にはTerraformでEC2を作成することが多いです。 ある日、EBSルートボリューム以外のEBS追加ボリュームのサイズ拡張が必要となったのですが、サイズの変更を検出しなかったりEC2自体を再作成するような挙動がみられたので調査してみました。 先に結論 ebs_block_deviceは初回のリソース作成時にのみ適用されるため、リソース作成後の変更は検出されない。 DBやファイルサーバ等の用途で、将来的にEBS追加ボリュームのサイズ変更が必要な場合は、aws_ebs_volumeとaws_volume_attachmentを使用すること。 ただし、delete_on_terminationオプションが存在しないため注意。 検証環境 今回実行した環境は以下の通りです。 項目 バージョン 事象について

(小ネタ)2024/1/26以降でRDS新規構築時に認証局(CA)のデフォルトがrds-ca-rsa2048-g1に変更されるか試してみた こんにちは！コンサル部のinomaso(@inomasosan)です。 以前、RDS新規構築時のデフォルトCA(rds-ca-2019)は2024/8に期限切れとなるため注意喚起のブログを書かせていただきました。 その後、Amazon Web Services ブログにて2024/1/26以降は新しいDBインスタンス作成時はデフォルトCAがrds-ca-rsa2048-g1に変更される旨が記載されているので試してみました。 先に結論 2024/1/31時点でAWSアカウントによってはデフォルトCAが変更されてないようなので、もうしばらくは明示的に指定するのが良さそう AWSマネジメントコンソールとAWS CLIで東京リージョンとバージニアリージョンにて

こんにちは！コンサル部のinomaso(@inomasosan)です。 AWS re:Invent 2023が開始されて、アップデートが色々と発表されていますね。 今回のアップデートでAmazon EventBridge(以下、EventBridgeと略す)のSaaS統合でAdob​​eとStripeがサポートされるようになったとのことで、何が嬉しいだっけということを簡単にまとめてみました。 アップデート概要 EventBridgeでは、様々なイベントからLambda関数の呼び出しや、SQSのキューにメッセージを溜める等といったイベント駆動型アーキテクチャを簡単に構築することができます。 イベントソースとしてAWSサービス以外にも、「パートナーイベントソース」と呼ばれる30種類以上のサードパーティ製SaaSアプリケーションを指定可能です。 今回のアップデートでAdob​​eとStripeを

こんにちは！コンサル部のinomaso(@inomasosan)です。 前回、AWS Config アグリゲータで、Advanced Queryに対応していない起動テンプレートの情報を取得するためのサンプルコードを作成してみました。 ただ、出力結果の一部にエスケープ処理されたJSON文字列がありました。 そこから必要な情報を取得しようとしたところ、なかなか時間がかかってしまったので備忘として残しておきます。 エスケープ処理されたJSON文字列とは？ 以下は起動テンプレートの出力結果となります。 出力結果 { "ConfigurationItem": { "version": "1.3", "accountId": "1234567890", "configurationItemCaptureTime": "2023-09-14T08:53:54.339000+00:00", "config

IP制限用のポリシーを作成する際は、CloudFormationのような一部のAWSサービスはユーザーに代わってリクエストするので注意が必要 こんにちは！コンサル部のinomaso(@inomasosan)です。 既存のEC2から起動テンプレートを作成したところ、何故かインスタンス設定パラメーターがひとつも入力されませんでした。 作業で利用したIAMユーザのIAMポリシーにはAdministratorAccessをアタッチしていたので、詳しく調べてみることにしました。 まずは原因から 該当のIAMユーザにはIP制限のIAMポリシーもアタッチされていた 既存のEC2から起動テンプレート作成時に、CloudFormationなどと同様にAWSサービスがユーザーに代わってリクエストしていた CloudFormationのようなAWSサービスがユーザーに代わってリクエストするようなサービスだと、A

MariaDBやMicrosoft SQL Serverは、2023/9/1時点にて全てのバージョンで再起動なしの証明書ローテーションがサポートされていなかったので、予め認識しておきましょう。 こんにちは！コンサル部のinomaso(@inomasosan)です。 先日、RDSの認証局(CA)についてブログで、DBエンジンによっては証明書のローテーションで再起動が必要な旨を記載しました。 describe-db-engine-versionsコマンドのSupportsCertificateRotationWithoutRestartから、どのDBエンジンで再起動が必要なのかを確認できます。 実は前回のブログを書いた時点で、証明書の有効期限への影響や、対象となるDBエンジンのバージョンが気になっていたので調査してみました。 再起動なしの証明書ローテーションのサポート有無で有効期限はどう変わる

こんにちは！コンサル部のinomaso(@inomasosan)です。 Windows Server 2019 DatacenterのAMIをm6i.largeで起動したら、デスクトップ壁紙のArchitectureにAMD64と表示されました。 気になったので社内メンバーにも聞いてみて、謎を追ってみました。 x86_64という表記を想定していた。 m6i.largeはIntel製のCPUなので、AMD64と表示されたことに違和感がありました。 最初はインスタンスタイプを間違ったかと思ったのですが、Instance Sizeを確認する限り間違ってはいませんでした。 歴史的背景 実はx86の64bitアーキテクチャはAMDが先行していました。 ウィキペディア　x64 Intelは後発でItaniumを開発しましたが、こちらは既に製造を終了しています。 ウィキペディア　Itanium 壁紙のA

こんにちは！コンサル部のinomaso(@inomasosan)です。 下記のブログを参考にAWS ParallelCluster の管理コマンド（pclusterコマンド)の実行環境を準備していました。 ただ、AWS Vaultの認証情報をDockerコンテナに渡す部分に苦戦したので、備忘としてブログにまとめていきます。 AWS Valutとは AWSのアクセスキー/シークレットキーを安全に保存・利用するためのOSSソフトウェアです。 このソフトウェアを利用することで、ローカルPC内の認証情報ファイルに平文でアクセスキー/シークレットキーを設定することなく認証情報を利用することができます。 詳細につきましては、以下のブログをご確認ください。 AWSの認証情報を確認 AWSの認証情報は上記のブログの通り、利用時に一時的な認証情報を取得して利用する形となります。 AWS VaultはIAM認

こんにちは！コンサル部のinomaso(@inomasosan)です。 先日、構築したばかりのRDSに対して証明書更新の通知を見つけました。 これまでRDS構築時に認証機関を意識していなかったのですが、デフォルトの証明書(rds-ca-2019)だと2024/8に期限切れとなるため、注意喚起のブログとなります。 ある朝「証明書の更新」の通知を見つけてしまった ある朝、RDSを確認しようとコンソールを開いたところ、サイドバーに証明書の更新が生えていることに気がつきました。 詳細を確認してみると、最近構築したはずのRDSの証明書が2024/8に有効期限が切れるため、更新が必要と表示されていました。 蘇る過去の証明書更新 2020年にRDSの証明書更新で苦労した方は多かったのではないでしょうか。 というのも証明書によるSSL/TLS通信を使用している・いないに関わらず更新が必須だったからです。

AWS Config アグリゲータの高度なクエリに対応していないリソースタイプの情報取得について、サンプルコマンドのポイントをまとめました。 こんにちは！コンサル部のinomaso(@inomasosan)です。 AWS Config アグリゲータで、Advanced Queryに対応していないリソース情報取得を取得するためのサンプルコードを作成してみました。 試行錯誤していくなかで色々と気づきがあったので、ブログにまとめていきます。 まずはサンプルコード 取り急ぎ試されたい方は、こちらのサンプルコードをご利用ください。 以下のパラメータは適宜変更してから、CloudShell等のAWS CLIを実行できる環境でお試しください。 アグリゲータ名 --configuration-aggregator-name hoge リソースタイプ --resource-type AWS::EC2::La

こんにちは！コンサル部のinomaso(@inomasosan)です。 弊社のオフラインイベントDevelopersIO 2023でDirect ConnectとSite-to-Site VPNによる冗長化構成の勘所というビデオセッションを公開しました。 セッション概要 オンプレミスとAWS間についてDirect ConnectとSite-to-Site VPNを併用して接続したいが、情報収集に苦労しているといったことはないでしょうか？そういった方を対象に、設計で特に重要となるポイントをご紹介いたします！ 動画 スライド まとめ 最初に冗長化構成が何故必要なのか？ということを検討しましょう。 構築するシステムで、オンプレとAWS間の突発的な停止や、メンテナンス等での停止時間を許容できるかが重要です。 停止を許容できない場合は、冗長化を検討しましょう。 AWS側のターゲットゲートウェイをどう

アセンブル用のサンプルファイルをダウンロード SSMセッションマネージャーで接続した場合、デフォルトの作業ディレクトリは/var/snap/amazon-ssm-agent/xxxx配下となります。 そのため、ユーザのホームディレクリに移動してからサンプルファイルをダウンロードします。 $ sudo su - ssm-user サンプルファイルはDocker用のテストデータがGitHub上にあったので、そちらをダウンロードしてきます。 $ wget https://github.com/trinityrnaseq/trinityrnaseq/raw/master/Docker/test_data/reads.left.fq.gz $ wget https://github.com/trinityrnaseq/trinityrnaseq/raw/master/Docker/test_data

Apptainerはイミュータブルなコンテナイメージ形式を採用しているため、SIFコンテナ作成後にイメージ内を変更することはできません。 こんにちは！コンサル部のinomaso(@inomasosan)です。 前回はApptainerというHPCに特化したコンテナプラットフォームをインストールして簡単な動作検証を実施しました。 せっかくなので、Nextflowというオープンソースで開発されている大規模なバイオインフォマティックス解析で使われているワークフローエンジンを、Apptainer上で動かそうとしたのですが、意外と苦戦してしまったのでブログにまとめていきます。 先にまとめ Apptainerはイミュータブルなコンテナイメージ形式のため、基本的にはビルド以外でイメージ内に追加のパッケージ等の導入不可 Definition Fileの%postセクションで新しいソフトウェアやライブラリを

こんにちは！コンサル部のinomaso(@inomasosan)です。 最近HPC分野を勉強しており、ApptainerというHPCに特化したコンテナプラットフォームの調査や、簡単な検証環境を構築したのでブログにまとめていきます。 Apptainerとは？ 概要 HPCに特化したOSSのコンテナプラットフォームで、オンプレやクラウド上の様々なOS(Linux、Windows、Mac)で動作するよう設計されている。 元々Singularityという名前で開発されていたが、2021年11月にLinux Foundationへ移行が決まりApptainerへ名前が変更となった。 コンテナイメージはSingularity Image Format(SIF)という形式を採用しているが、DockerイメージやOpen Containers Initiative (OCI)イメージ形式とも互換性がある。

AWS Trusted AdvisorでECSサービスが単一AZでタスクを実行していないかをチェックできるようになったよ！ こんにちは！コンサル部のinomaso(@inomasosan)です。 2023年4月3日のアップデートで、AWS Trusted Advisorで単一のアベイラビリティゾーンを使用するAmazon ECSサービスを検知できるようになりました。 概要 AWS Trusted Advisorの耐障害性に単一の AZ を使用する Amazon ECS サービスというチェックが追加されました。 これにより本番環境等で意図しない単一障害点になっているかをチェックすることが可能となりました。 アラート基準 黄色: Amazon ECS サービスはすべてのタスクを単一の AZ で実行しています。 緑: Amazon ECS サービスは少なくとも 2 つの異なる AZ でタスクを実

こんにちは！コンサル部のinomaso(@inomasosan)です。 Windows Serverのサポート終了について調べていた際に、AWS Trusted Advisorで2023年10月10日に延長サポートが終了するWindows Server 2012/2012 R2をチェックできるアップデートが来ていたことに気がつきました。 AWS Trusted Advisorでチェック対象になった場合の表示が気になったので、検証してみました。 概要 What's Newの記事にある通り、EOSが18ヶ月未満のインスタンスが存在する場合はチェックの対象となるようです。 Microsoft Windows Server 2012/2012 R2 は、2023 年 10 月 10 日に延長サポートが終了するため、Trusted Advisor コンソールでは 18 か月未満で EOS を迎えるイ