AWSボリュームに暗号化は必要なのか？ 当初、実際にAWSのデータセンターの実サーバーに物理的に侵入された場合や、AWSの管理システムへのハッキングした時くらいにデータを守れるという認識だったのでそれが正しいのかどうかAWSサポートに問い合わせをしてみた. AWSサポート問い合わせ結果(原文は載せれないので要約) 1. お客様のセキュリティあるいはコンプライアンス要件を満たせるようにご用意している機能 多くのユーザーはこのコンプライアンス基準へ準拠のためだけに、ストレージ暗号化の機能を利用しているのが現実らしい 2. AWSのデータセンターに対して物理的な侵害が発生した場合に、保護する事が可能になる これは想定していた当然のメリットである. 3. EBS と EC2 インスタンスとはネットワークを経由で通信するが、暗号化ボリュームを使用している場合この通信経路上も暗号化される これは少しび
「でかいインスタンスを建てればAWSの料金が高くなっていく…。」 「大量購入すればお金が飛んでいく…。」 こんにちは(U・ω・U) AWS事業部の深澤です。 さて僕はこの前このような記事を公開させていただきました。 どちらも大変ご好評いただき、本シリーズも第3弾となりました。いつも読んでいただいている皆さん、有難うございます。是非今回も最後までお楽しみいただけますと幸いです。それでは、いつも通り最初に注意事項を申し上げておきます。 注意 今回ご紹介するものは実際に検証したものではありません。AWSの料金表を確認して、実際このくらい溶けるのではと計算した理論値になります。 日本円のレートは執筆時現在（2020年2月末）のレートとなります。 リージョンは東京です。 それぞれがどういったサービスなのか、細かい話は割愛します。 ここで取り上げたサービスが高いとか悪いとかそういうことを言いたいブログ
AWS、EC2ルートボリュームをインスタンス実行中に置き換え可能に。トラブルからの迅速な復旧などに有効 ルートボリュームとは、インスタンスを起動し実行するためのOSが割り当てられているAmazon EBSのボリュームです。 今回の新機能ではインスタンスを実行したまま、このAmazon EBSのルートボリュームを起動時点もしくは特定のスナップショットに置き換えられるようになりました。 ルートボリュームを置き換えても、データボリュームの状態には影響を与えません。 また、置き換えた後もインスタンスは同一物理ホスト上で実行が継続し、インスタンスにアタッチされたネットワークインターフェイスおよびパブリックなIPアドレス、プライベートなIPアドレス、DNS名なども維持されます。ただしルートボリューム置き換え時に一旦保留となったネットワークトラフィックはフラッシュされます。 この機能は、実行中のインスタ
Amazon DLMとAWS BackupはEBSバックアップの世代管理方法が異なります | DevelopersIO
EBS をバックアップする場合、選択肢として AWS Backup Amazon Data Lifecycle Manager (Amazon DLM) の2つがあります。 この2つはともにバックアップのライフサイクル管理が可能ですが、指定方法が異なります。 Amazon DLM はスナップショットを何個残すか(retain)指定し、AWS Backupは各スナップショットをどれだけの期間残すか(expire)指定します。 1日1回スナップショットを作成するようスケジュールし、Amazon DLM では7世代残すように設定し、AWS Backupでは1週間でexpireするように設定したとします。 バックアップが毎日成功すると、どちらも過去7日分の7個のスナップショットが残ります。 バックアップが一部失敗すると、Aamzon DLMではバックアップジョブが成功した直近7個のスナップショット
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。前半は環境の構築について。関連資料1、関連資料2 文献についての紹介 服部圭悟氏（以下、服部）： 本日は、文献『Cost-efficient and scalable ML-experiments in AWS with spot-instances, Kubernetes and Horovod』について紹介したいと思います。 実はこちら、Twitterのほうで紹介してもらったのを読んだのですが、すごくよいな
[新機能] リストア直後からフルパフォーマンス！EBS で Fast Snapshot Restore（FSR）が可能になりました | DevelopersIO
こんにちは、菊池です。 熱いアップデートがきました。EC2で利用するブロックストレージ、Amazon EBS でリストア直後からフルパフォーマンスを発揮できる Fast Snapshot Restore（FSR）が登場しました！ Amazon EBS Fast Snapshot Restore (FSR) eliminates the need for pre-warming data into volumes created from snapshots これにより、スナップショットから作成したEBSでもプレウォーミングなしで本来の性能が発揮できるようになります。 そもそもプレウォーミング（初期化）って？ スナップショットから作成したEBSは、初回のアクセス時にS3からプルダウンされることになります。そのため、作成直後はアクセス時のレイテンシが通常よりも大きく、本来EBSに割り当てられた
![[新機能] リストア直後からフルパフォーマンス！EBS で Fast Snapshot Restore（FSR）が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b6b259771afd062b96d939e25c9bdc0c872c381/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ebs.png)
使用されていないAmazon EBSボリュームを削除してAWSのコストをコントロールする | Amazon Web Services
Amazon Web Services ブログ 使用されていないAmazon EBSボリュームを削除してAWSのコストをコントロールする 業界や業種を問わず、お客様にとってコスト管理は最優先事項の1つです。 EBSボリュームのライフサイクルの可視性が十分でないと、未使用のリソースに対してコストが発生する可能性があります。 AWSはコスト管理のサービスを提供しており、コスト情報へのアクセス、コストの理解、コストの制御、およびコストの最適化を行えるようにしています。 未使用、および管理が行き届いていないAmazon EBSボリュームは、AWS のコストに影響します。 EBSボリュームのライフサイクルは、Amazon EC2 コンピューティングインスタンスから独立して管理可能です。そのため、EBS ボリュームに関連付けられている EC2インスタンスが終了しても、EC2起動時に「終了時に削除」 オ
AWS Announces General Availability of Amazon EBS io2 Block Express Volumes
Today AWS announced general availability of io2 Block Express volumes that deliver up to 4x higher throughput, IOPS, and capacity than io2 volumes, and are designed to deliver sub-millisecond latency and 99.999% durability. io2 Block Express refers to io2 volumes running on the EBS Block Express architecture, and supports standard io2 features such as Multi-Attach and Elastic Volumes. io2 Block Ex
【初心者向け】DLM (Data Lifecycle Manager)で周期的にEC2スナップショットを作成してみた | DevelopersIO
こんにちは！ 最近筋トレを始めて、毎日筋肉痛に苦しんでいるコンサルティング部のキムです。 皆さんは運動してますか？体力の管理もセルフマネジメントの大事な部分だと思ってます！ さて、案件で周期的にEC2のスナップショット（正確にはEC2にマウントされているEBSのスナップショット）作成をAmazon DLMを活かして設定してみたので、 この内容を本ブログの記事として整理したいと思います。 それでは、始めます！:) 目次 一般的なEC2のバックアップ方法 EC2 インスタンスをバックアップする方法は大きく二つの方式があります。 AMI作成 Snapshot作成 AMI作成の場合はインスタンスのメタデータおよびOSがインストールされたそのままのイメージ（一個以上のスナップショット + メタデータ）を作ります。 Snapshot作成の場合はインスタンスに付いているEBSボリュームのスナップショット
最近 AWS を触り始めて、EBS を使っているのだが、どうも I/O 速度に制限がかかる仕様があるらしい。調べてみると IOPS やら I/O クレジットやらといった考え方が出てきた。ドキュメントを読んでもわかりづらかったので整理してみた。 そもそもの前提 最初に結論 I/O クレジットその1: 消費と補充のルール I/O クレジットその2: クレジットが枯渇したら I/O クレジットその3: IOPS には上限もある I/O クレジットその4: IOPS の I/O ってそもそも何？ 参考 そもそもの前提 AWS のボリュームでは無尽蔵に I/O を発生させることはできず、AWS 側で帯域制限ならぬ I/O 制限が実施されている。 この制限が具体的にいつ、どのように、どれだけ働くのかという仕組みが I/O クレジット という考え方。この時に使う単位が IOPS(I/O per Seco
re:Growth ONLINE インフラ特別号で AWS Nitro について思いを馳せてみました #cmregrowth | DevelopersIO
コンバンハ、千葉（幸）です。 先日行われた re:Growth 2020 Online インフラ特別号〜AWS re:Invent 振り返り勉強会〜 において、「改めて Nitro に思いを馳せる」というテーマで発表を行いました。 資料の共有と、概要のご紹介をします。 資料 きっかけは Mac インスタンス 私が今回のテーマを AWS Nitro システムに設定したきっかけは、2020/12/1 のキーノートで行われた Mac インスタンスの発表です。 以下の記事を参考にすると、Mac インスタンスは Mac mini と Nitroコントローラの組み合わせによって実現されたと説明されています。 AWS、Macインスタンスの仕組みを説明。市販のMac miniをそのままラックに組み込みThunderbolt経由でストレージやネットワークへ接続。AWS re:Invent 2020 － Pu
tl;dr EC2 でディスク使用量がパンパンになってきて ボリュームをオンラインで拡張したくなったときのやりかたメモです。 基本的に公式ガイドに沿えば OK です: https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/recognize-expanded-volume-linux.html チェック
[アップデート] これは簡単！EC2 起動時にルートボリュームを1ステップで暗号化できるようになりました！ | DevelopersIO
本日の以下アップデートにより、EC2 起動時にルートボリュームを1ステップで暗号化できるようになりました。 Launch encrypted EBS backed EC2 instances from unencrypted AMIs in a single step AWS GovCloud および中国を除く、すべてのリージョンで利用可能です。 これまでの方法 これまでルートボリュームの暗号化を行うには、以下の4ステップが必要でした。 非暗号化ボリュームで EC2 を起動する AMI を作成する AMI コピー時時に暗号化する 暗号化された AMI から EC2 を再作成する 今回のアップデートで、これらのステップを踏むことなく一撃で作成できるということです。 作成してみる さっそく EC2 を起動し、確認してみましょう。今回の検証環境は下記のとおりです。 項目 値
![[アップデート] これは簡単！EC2 起動時にルートボリュームを1ステップで暗号化できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c4062e17764e7d28b1f199bffaf25ca72050def/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2.png)
中山（順）＠リカバリー中 です 先日、EBSボリュームを作成する際にべき等性を担保できるように、作成リクエスト時にClient tokenを指定できるようになりました。 Amazon Elastic Block Store now supports idempotent volume creation 実際にAWS CLIを使って動作を確認してみたいと思います。 べき等性 is 何？ 結論としては、「ある操作を 1 回行っても複数回行っても結果が同じである」という性質です。 そもそも、べき等性とは、どういうことを言うのでしょうか ? これは「ある操作を 1 回行っても複数回行っても結果が同じである」ことをいう概念です。 サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第一回 べき等性 (冪等性/idempotency) ってなんだ!? APIに対してリクエストを行ったとき、リクエ
AWS Step Functions と AWS Systems Manager を使用して、Amazon EBS ボリュームのサイズ変更を自動化する | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Systems Manager を使用して、Amazon EBS ボリュームのサイズ変更を自動化する アクティブなアプリケーションで、Amazon EC2 インスタンスの Amazon EBS ボリューム使用率がプロビジョニング済み容量に達してしまうことがあります。どのアプリケーションを使用しているかによって異なりますが、プロビジョニング済み容量が使い果たされると、アプリケーション停止のリスクが生じ、お客様に影響を与えることがあります。これに対するソリューションの 1 つに、アプリケーションへのフェールオーバーメカニズムの設計がありますが、オーケストレーションの負担になる可能性があります。より簡単なソリューションは、EBS ボリュームのサイズを自動的に変更することです。 Infor では、本番
Amazon EBS ボリュームを gp2 から gp3 へ切り替えコストを削減する - サーバーワークスエンジニアブログ
SRE部 佐竹です。 本日は現在開催中の re:Invent2020 から、Amazon Elastic Block Store (EBS) の gp3 についてコスト比較結果を記載します。 はじめに 利用料金を比較する IOPSについて 注意点（2020年12月4日修正） グラフで比較：IOPS を3000で固定した場合 グラフで比較：IOPS を追加した場合 グラフで比較：スループットを加味した場合(2020年12月16日 修正) Compute Optimizer の活用 まとめ 2020年12月10日 旧世代インスタンスでの注意事項（解消済） 2021年2月24日 旧世代インスタンスでも利用可能になりました はじめに blog.serverworks.co.jp 弊社ブログの記事の通りですが、gp3 という新しい EBS Volume のタイプがリリースアナウンスされました。本 g
Amazon Web Services ブログ 新機能 – 新規 EBS ボリュームのデフォルト暗号化へのオプトイン AWS チームにいる私の同僚達は、皆さんがデータを不正アクセスから守るためのより簡単な方法を常に考えています。今回は、AWS クラウドセキュリティページ、AWS セキュリティブログ、AWS セキュリティホワイトペーパーの豊富なコレクションや、充実ぶりではそれに引けを取らない AWS のセキュリティ、アイデンティティ、コンプライアンスサービス、および個々のサービス内の広範なセキュリティ機能など、様々な方法で皆さんにご利用いただけます。本記事を読まれて思い出される方もおられるでしょう。多数の AWS サービスが、保管時およびトランジット中、ロギング、IAM ロールおよびポリシー等における暗号化をサポートしています。 デフォルト暗号化 今回お話しするのは、暗号化した Amazon
最新のIT技術を駆使して音楽関連サービスを展開しています。 日々の活動内容から得た知識をお届けする開発ブログです。 Amazon EFS API（2019年3月時点の情報です） 用意されているAPIは公式に記載の通りです。 createFileSystem createMountTarget createTags deleteFileSystem deleteMountTarget deleteTags describeFileSystems describeMountTargets describeMountTargetSecurityGroups describeTags modifyMountTargetSecurityGroups updateFileSystem DescribeLifecycleConfiguration PutLifecycleConfiguration バー
[AWS] EBS の Fast Snapshot Restore（FSR）を DLM で管理する | DevelopersIO
こんにちは、菊池です。 EBSスナップショットをリストア直後からフルパフォーマンスで利用するためのオプション、Fast Snapshot Restore（FSR）がリリースされました。 [新機能] リストア直後からフルパフォーマンス！EBS で Fast Snapshot Restore（FSR）が可能になりました プレウォーミングなしでプロビジョニングした性能を発揮できる待望の機能ですが、追加コストがかかる点に注意が必要です。コストを抑えるため、「直近の1世代、1つのAZのみFSRを有効にして、それより古いものは無効にする」ということがやりたくなります。このような要件を自前で管理していくのは非常に手間がかかりますが、スナップショットを自動化するサービス、Data Lifecycle Manager（DLM）で簡単に設定できましたので紹介します。 DLM で FSR を管理する DLMのコ
Today AWS announced the availability of gp3, the next-generation general purpose SSD volumes for Amazon Elastic Block Store (Amazon EBS) that enable customers to provision performance independent of storage capacity and provides up to 20% lower price-point per GB than existing gp2 volumes. With gp3 volumes, customers can scale IOPS (input/output operations per second) and throughput without needin
Amazon EBSのgp2・gp3の比較をもっと簡単に知りたい - サーバーワークスエンジニアブログ
こんにちは。クラウドインテグレーション部の竹本です。 前回のre:Inventで発表されたAmazon EBSのgp3ボリュームを ご提案する・採用いただく事例がかなり増えてきたように感じます。 gp3について既に昨年時点で弊社 @satakeの素晴らしい記事がありますが よりライトなAWSユーザーの方々に向け、EC2を新規構築する際の ボリュームタイプ検討シーンを想定しパフォーマンス・料金面の 違いについて簡単に解説してみたいと思います。（内容の重複が多くございます） blog.serverworks.co.jp ターゲットにしている想定読者 はじめてgp3ボリュームの利用を検討される方 いろいろ読んでみたけど、結局gp3にすると どれぐらいメリットがあるのかピンとこない方 なお、既存環境に対するgp2からgp3への切り替えや、よりコスト削減にフォーカスした 内容を知りたいという方は、ぜ
Amazon EC2 インスタンスの起動時にカスタム暗号化キーを使用して、暗号化された Amazon EBS ボリュームの作成が可能に | Amazon Web Services
Amazon Web Services ブログ Amazon EC2 インスタンスの起動時にカスタム暗号化キーを使用して、暗号化された Amazon EBS ボリュームの作成が可能に Amazon Elastic Block Store (EBS) は Amazon EBS ボリュームの暗号化ソリューションを提供するため、ブロックストレージの暗号化キーを管理するための独自のインフラストラクチャを構築、維持、保護する必要はありません。Amazon EBS 暗号化は、暗号化されたの Amazon EBS ボリュームを作成するときにAWS Key Management Service (AWS KMS) のカスタマーマスターキー (CMK) を使用し、AWS KMS の使用に関連する 利点をすべて提供します。Amazon EBS ボリュームを暗号化するには、AWS 管理型 CMK またはカスタマ
Amazon is the 4th most popular site in the US. Our product search engine, one of the most heavily used services in the world, indexes billions of products and serves hundreds of millions of customers world-wide. We are working on a new initiative to transform our search engine into a shopping engine that assists customers with their shopping missions. We look at all aspects of search CX, query und
停止したインスタンスの EBS 課金を停止する
Amazon Elastic Compute Cloud (Amazon EC2) インスタンスをすべて停止しましたが、Amazon Elastic Block Store (Amazon EBS) ストレージに対する課金は相変わらず発生しています。 解決策 Amazon EBS では、アカウントにプロビジョニングされたストレージの量に対して、ギガバイト/月単位で課金されます。Amazon EC2 インスタンスは、稼働している場合にのみ料金が発生します。ただし、インスタンスにアタッチされた EBS ボリュームは、インスタンスが停止した場合でも引き続き情報を保持し、料金が発生します。詳細については、「Amazon EBS の料金」を参照してください。 **注:**Amazon EBS では、EC2 インスタンスからボリュームをデタッチしても料金は発生しません。ただし、ボリュームを削除するまで
こんにちは、マネージドサービス課の小倉です。 2019年3月からこちらの課に所属が変わりました。 今回は、EC2にマウントしているEBSのバックアップ(スナップショット)を取得していることが前提ですが、EBSをファイル単位でリストアする方法をご紹介します。 ファイルをOS内でバックアップを取得せずに致命的な編集をしてしまった場合などに使うことができます。 リストア手順 リストアする内容 Amazon Linuxの/etc/hostsファイルを例にファイル単位でリストアする方法を説明します。 まず、現在の/etc/hostsの中身を確認します。 $ cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 iranaisettei ::1 localhost6 loc
EBS、S3、EFS三者の違い - Qiita
EBS、S3、EFSとは EBS : AWS Elastic Block Store S3 : Simple Storage Service EFS : Elastic File System 三者ともAWSのストレージサービス。 ⭐️ EBSはデータベースやアプリケーション向けのストレージサービス。高速なI/O Throughput。 ⭐️ S3は静的webpage、マルチメディアの分配、バージョン管理、ビッグデータ分析に適用。AWS CloudFrontと合わせて使えば、アップロード＆ダウンロードの速度が早くなる。 ⭐️ EFSは複数のインスタンスが同一のファイルをシェアできるサービスを提供している。ビッグデータ分析、マルチメディア処理、内容管理に適用。 EBS、S3、EFSの比較
EC2 インスタンスの EBS ボリュームを拡張してみる | Wedding Park CREATORS Blog
こんにちは、インフラエンジニアの綿引です。 EC2 運用時に いつのまにかディスク使用率が 100% に、、 という経験がある方もいらっしゃるのでないでしょうか。 そこで今回は EC2 の EBS ボリュームを拡張したので、方法を共有したいと思います。 対象の方は以下のような方でしょうか。 EC2 のディスク使用率がそろそろ危ない、、 実施方法 では早速実施していきます。拡張対象の EC2 の情報は以下です。 OS : CentOS 7 拡張対象 : ルートパーティション そしてやる前に 必ずバックアップ を取得しておきましょう。 EBS ボリュームの拡張 まずは EBS ボリュームの拡張を行なっていきます。 マネジメントコンソールの EBS の画面から、拡張対象の EBS ボリュームを選択し 「アクション」 → 「ボリュームの変更」 を選択します。 そして画面遷移後、ボリュームタイプ・サ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSボリュームの暗号化の必要性について - Qiita
え、そんなに！？意外と知らないAWSでお金がかかるポイント5選！！第3弾 | DevelopersIO
AWS、EC2ルートボリュームをインスタンス実行中に置き換え可能に。トラブルからの迅速な復旧などに有効
データセットの読み込みにはEBS、その成果物にはEFSを使うとよい 文献から学ぶクラウド機械学習のベストプラクティス
AWS の IOPS と I/O クレジットがよくわからなかったので整理した - stamemo
EC2 EBS ボリュームサイズ拡張のやりかた - Qiita
EBSボリューム作成時のべき等性を担保できるようになりました | DevelopersIO
新機能 – 新規 EBS ボリュームのデフォルト暗号化へのオプトイン | Amazon Web Services
EFS使ってみた ~ EBSとEFSの書き込み速度を比較編 ~ | レコチョクのエンジニアブログ
Introducing new Amazon EBS general purpose volumes, gp3
Millions of tiny databases
Amazon EBSをファイル単位でリストアする方法 - サーバーワークスエンジニアブログ