ECSを運用で使っていて難しいと思った点 - アジャイルSEの憂鬱
ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権限 S3やSESなどの権限をつける タスク実行ロール コンテナ外の権限 ECRやParameter Storeの権限をつける ECSのデプロイ時に静的ファイルが404になる ECSを触った初期に遭遇した。 詳細は以下のQiitaの記事が分かりやすい。 参照: ECSのデプロイ時に一定確率で静的ファイルが404になる問題を回避する 回避する方法はいくつかある。 静的ファイルをS3に置く CodeDeployの OneAtATime を使う CodeDep
AWS をどう使わずにおくか - portal shit!
ジョブキューイングシステムをどうするかでチームのリーダーとやりあって考えたことがあるのでまとめておく。 Rails で使うジョブキューイングシステムの技術選定で、リーダーは Amazon SQS 推し（レガシーシステムで SQS を使っている）、自分は Sidekiq 推しだった。前職時代に Sidekiq を使ってトラブルに遭遇したことはなかったし、とても簡単に使えるので Sidekiq で十分だと思っていた。 Sidekiq は GitHub でのスター数は 9000 オーバーで、 Rails の ActiveJob バックエンドとしては事実上のデファクトスタンダードだといえると思う。ググれば情報がいっぱい出てくるし、チームメンバーもリーダー以外は全員 Sidekiq の使用経験があった。 GitHub - sidekiq/sidekiq: Simple, efficient back
なぜAppleはiCloudにGoogle Cloud Platformを使っているのか？ #GCPUG #gcpja - Qiita
（いずれもオレゴン同士で比較，詳細は省略） マルチリージョン ただマルチリージョン（S3ではクロスリージョンレプリケーション）を構成するのであれば，S3では単純に倍の費用がかかります． 更にバージョニング有効化が必要でその分余計に費用もかかったり，その他細かい制限もあったりするようです1． GCSではバケット自体に最初からマルチリージョン設定することが可能で，費用も1.3倍です． iCloudにおいて，バックアップであれば可用性はあまり求められませんが．冗長性は必要でしょう．写真や書類などでは更に可用性も求められると思います． このような場合はGCSのほうが明らかに安くなるでしょう． コンピューティング あるいは単なるデータ保管だけでなく，演算もクラウドで行わせている可能性はあるでしょう． 詳細は省きますが，費用はGCE（GCPのコンピューティングサービス）のほうが安価になりがちですし，性
GitHub に AWS キーペアを上げると抜かれるってほんと？？？試してみよー！ - Qiita
🤔 前書き 稀によくある 、AWS を不正利用されちゃう話、 AWSで不正利用され80000ドルの請求が来た話 - Qiita 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 - Qiita AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita ブコメ等で GitHub にはアクセスキーを検索するBOTが常に動いていて、公開するとすぐに抜かれて不正利用される 的なコメントがつくのを何度か目にしたのですが、 本当にそんな BOT が動いているの？ どのくらいの時間でキーを抜かれて、不正利用が始まるの？ というのが気になったので、検証してみました。 GitHub にそれっぽいパブリックリポジトリを作成、権限が一つもついてない AWS のアクセスキー＆シークレットアクセスキーをうっかり公開、外部から利用されるまでの時間を計測します。
AWSバッドノウハウ集 2017/02 - Qiita
おことわり 主観であり何らかのデータにもとづいてはいない この記事に書いてあることは信じずに自分で試そう EC2 t2 ファミリーは他ファミリーと比べて不安定 どのインスタンスもいつかは死ぬという点では共通なのですがそのなかでもt2は故障したり不具合が発生したりする確率が非常に高い気がする なので死んだり、死にかけ状態で動き続けたりしてほしくないインスタンスはあんまりリソースを使わなくても t2.micro とかじゃなくて m3.medium にしとくとすこし可用性があがる 追記: CPUクレジット理解していないだけではとか書かれていたんですがその辺は確認している。 t2の可用性が問題になったケースいくつかあるんだけど、自分の場合はネットワークがたまに断する問題が多くて、分散DBクラスタの死活監視で1secごとにpingするだけでCPUは常に1%以下みたいなものとかに使うとカジュアルに10
「AWS is 何」を3行でまとめてみるよ - Qiita
すべてのAWSのサービスを 3行以下でまとめました。 AWSが色々ありすぎてわからん！ 3行以下で誰かまとめて！！という思いで、AWSを3行で書いてるところがなかったので自分で作りました。 掲載した金額は最小使用時のもの。無料枠や大量購入割引(Volume discount)、あと転送量でかなり変わるので、参考程度に。 以下からのカッコよすぎな見出しは AWSクラウド製品のページ からのそのままの引用です。「 広範かつ奥深いコアクラウドインフラストラクチャサービス」って僕が言ってるわけじゃない！ 広範かつ奥深いコアクラウドインフラストラクチャサービス なんのこっちゃ。 よーするに「基本サービスですよ」ってことらしい。基本サービス多すぎだろ・・・。 い。 コンピューティング AWS is 何 いくら？
まさかのAWSでSSL証明書が無料、ワイルドカードも使えるし自動で更新 | ロードバランスすだちくん
シンジです。AWSに新機能「AWS Certificate Manager」が追加されました。SSL証明書がまさかの無料発行！ただしAWSのELBとCloudfrontに限る制限付きだけど！なので、EC2だけ〜とかでは使えませんのでご注意を。とはいえELBを挟むのもCloudfront使うのもありがちな構成なので、さくっとSSL暗号化通信したいときは無料だし便利ですよね。無料でワイルドカード使えるのはかなり便利。 ソースはこちら New – AWS Certificate Manager – Deploy SSL/TLS-Based Apps on AWS | AWS Official Blog https://aws.amazon.com/jp/blogs/aws/new-aws-certificate-manager-deploy-ssltls-based-apps-on-aws/ や
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
「Amazon Web Services パターン別構築・運用ガイド」が良かった - Glide Note
Amazon Web Services パターン別構築・運用ガイド 一番大切な知識と技術が身につく 発売日に買っていたんですが、多忙で感想を書くのを忘れていた。。 前職では業務でAWSをほぼ触らず、6年弱ずっとオンプレミス環境でインフラエンジニアをやっていたので、 昨年KAIZENへの転職を機にはじめてAWSをガッツリ触るようになった。(個人レベルではもちろん触ってましたが) AWSを実際に触ってみると 各サービスの特徴 それぞれのサービスを組み合わせた構成例 各種設定方法 などについて、体系的に学べる書籍などが無く(あっても情報が古い)、 ウェブ上の断片的な情報をその都度参照して、 恐ろしく非効率な方法で習得して、苦労していたので、 本書は体系的にAWSのことが習得出来るので大変ありがたかった。 リファレンス的に利用出来るので、「この設定どうするんだろう」みたいな時に 役に立ってくれてい
新ストレージサービス「Amazon Elastic File System」（Amazon EFS）登場。NFSでマウント、ファイル容量にあわせて自動的にキャパシティが増減しプロビジョニング不要
新ストレージサービス「Amazon Elastic File System」（Amazon EFS）登場。NFSでマウント、ファイル容量にあわせて自動的にキャパシティが増減しプロビジョニング不要 Amazon EFSは、Amazon EC2からNFSv4でマウントして利用するストレージサービスです。あらかじめ容量を決めてプロビジョニングする必要がなく、保存するファイルの大きさに対して自動的にキャパシティが増減していくのが特長。 また、同時に数千もの同時接続にも対応するスケーラビリティを備えていると説明されています。 自動的にキャパシティが増減、保存データの冗長性も Amazon EFSは通常のNFSサーバと同じように振る舞うため、既存のアプリケーションは何も書き換える必要なくそのまま利用可能。フルマネージドサービスのため運用の手間は必要なく、前述のように保存されたファイルの大きさに応じて自
AWSでフェイルオーバー構成を作るのが簡単すぎて不安になってきた - Life is Really Short, Have Your Life!!
Amazon Web Services パターン別構築・運用ガイド 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西秀和,佐藤瞬出版社/メーカー: SBクリエイティブ発売日: 2015/03/25メディア: 大型本この商品を含むブログ (1件) を見る ３章のWordPressのフェイルオーバーまでやった。 フェイルオーバー構成というのはこんなに簡単にできるものなのだろうか… 事務作業レベルでインフラ構築が進むのが怖くなってきたんですが.... ホントにこれでいいのか....みたいな。 AWSを利用してマルチAZのRDS環境でガチのフェイルオーバー構成を取ると月額1万円かかるが、データだけ退避しておけばいい状況だと、年間1万円で事が済む。ローカルPC起動時に本番にSSHしてrsyncするだけで許される場合とか。一応２重化されてる。DBのデータだけ別のサーバが必要だとしても、Di
運用してわかった Amazon RDS のパフォーマンスを上げる 3 つのコツ
本番環境で RDS を運用して数ヶ月。いろいろ試して RDS のパフォーマンスを上げるコツがわかってきたのでまとめたいと思います。 ここで取り上げるコツは以下を前提にしています。 データベースは PostgreSQL (Multi-AZ 配置) Read よりも Write が多い 夜間のバッチ処理がピーク 1 レコードは小さいが、一度に書き込むレコード数は多い アプリケーションの特性によっては当てはまらないこともあるでしょうし、他の RDBMS では結果が違ってくると思います。そこを踏まえたうえで参考にしてください。 Availability Zone はどちらかに寄せる RDS の Multi-AZ は耐障害性を上げるために欠かせない機能で、本番環境では Multi-AZ 配置が推奨されています。 Multi-AZ 配置にすると物理的に独立した AZ (Availability Zon
RDBMS in the Cloud: PostgreSQL on AWSを読んでみた | DevelopersIO
はじめに AWSにはRDSというマネージドなデータベースサービスがあることは皆さんご存知だと思います。そこで提供されているデータベースは、MySQL、Oracle、SQLServerの3種類です。そうです、PostgreSQLが無いのです！ナイナイ詐欺のAWSなので、そのうち出てくると思いますが、今のところはありませんので、自前で構築する必要があります。せっかく構築するなら、オンプレのコピー感覚で使うのではなく、クラウドネイティブに使いたいものです。今回は、そんなPostgreSQLをEC2上で構築するために考えるポイントをまとめたホワイトペーパーをベースに理解を深めたいと思います。 PostgreSQL on Amazon EC2 PostgreSQLは、ACID(Atomicity:原子性, Consistency:一貫性, Isolation:独立性, Durability:永続性)
AWSでSESと無料のSQSを使って快適なメールマガジン配信システムを構築した話 - ぷれすとぶろぐ
Amazon Web ServiceでSESとSQSを使って、大量に高速に送ることが出来るメールマガジン配信システムを構築してみました。 もともと、別の開発者の人が開発していたものを、引き継いで受託していたサービスが、日々会員数が増えるたびにメールの配信時間が伸びていき、最終的に2万人に配信するのに6時間ほどかかるシステムになっていました。 システム システム構成はシンプルでAWSのEC2のインスタンス上でDBやアプリケーションが動いており、画像などのリソースの保存にS3を、メール送信にSESを使っています。 ちなみにアプリケーションはJavaEEです。最近ではちょっと珍しい？ですね。 問題点 もともとのシステムは、管理画面から登録されたメルマガ情報からメルマガを受診する対象のユーザーを取得し、名前などを埋め込んだスプールを作成する「スプール生成バッチ」と、DBに登録されたスプールを順番に
Amazon EC2 Eメール送信ベストプラクティス | DevelopersIO
ども、大瀧です。 EC2からEメールを送るという案件、たくさんありますよね。そして結構な確率でトラブるんですよね(涙目)。そんな苦い経験をベストプラクティスとしてまとめてみました。一応技術的なところは網羅したつもりですが、メールセキュリティの専門ではないので、不備や間違いがあればご指摘ください。 では、メール送信トラブルの元凶である、スパムメールとその対策からご紹介していきます。 スパムメールとの闘いダイジェスト Eメールの歴史は、スパムメールとの闘いの歴史と言えます。 不特定多数に送信されるスパムメール(未承諾の広告メール)は、メール受信者に不快な思いをさせるとともに、メールサーバーのメール流量を爆発的に増加させ、長らくメールサーバー管理者を泣かせてきました。 このスパムメールをなんとか撃退しようと、現在では主に以下のような対策が行われています。 1. 送信メールサーバー側のネットワーク
「クラウド化は、コスト削減のためとちゃいます」 東急ハンズ・長谷川秀樹氏がAWSイベントで語る
東急ハンズにて情報システムと通販事業の責任者を務める長谷川秀樹氏が、AWS Cloud Roadshow 福岡 powered by Intel に登壇。大手小売企業が仮想サーバを導入するにあたって注意した点、また新しく気がついた点を具体的に列挙。後発組へもAWSの採用を勧めました。 東急グループにおける情シスの責任者が登壇 長谷川秀樹氏：東急ハンズ、長谷川でございます。よろしくお願いします。「一体何者やねん？」っちゅうところなんですけども、東急ハンズで情シス（情報システム）と通販事業の責任者をやっています。ハンズラボという会社で、これSI（システムインテグレーション）の会社なんですけど、そこで代表やらさせてもらっています。 あとは東急不動産ホールディングスのほうで、マーケティングIT戦略部長みたいなのもやらさせてもらっています。今日はどっちかと言うと、ユーザー企業の情シス部長みたいな感じ
AWSガチャは下手なチューニングよりも効果が出る？
Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。 そのパフォーマンス差は、どれくらいなのか？気になったので測ってみました。 検証環境はこんな感じです。 AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988) Instance Type: c3.xlarge １）Magnetic(standard) ２）Magnetic(standard) + EBS-Optimized ３）General Purpose (SSD) + EBS-Optimi
Amazon EC2から負荷テストを行うときの落とし穴と対策 | DevelopersIO
ども、大瀧です。 ここのところ新機能を追いかける記事ばかりだったので、今回は少し毛色の異なるノウハウ系を書いてみます。 負荷テストの前置き(読み飛ばし可) 「Webサイトがテレビ番組で紹介されることになった！大幅なアクセス増がやってくる！」という場合に、ロードバランササービスのElastic Load Balancing(ELB)やCDNのCloudFrontなどスケールするサービスを組み合わせ乗り切るというのは、クラウドらしい柔軟性の高さを活かせる典型な例かと思います。実際、弊社の事例でも多くのお客様に提供し、ご好評をいただいています。 これらのサービスを構成するにあたり、実際のアクセス増に耐えられるか試すため負荷テストを実施することも多いと思いますが、大規模なケースになってくると難しいのが負荷テストを実施するマシンの確保です。これについてもAmazon EC2であれば、Auto Sca
Amazon Glacier からデータを取り出すときには気をつけようね - takatoshiono's blog
注意 この記事は2014年7月5日時点の情報に基いて書かれています。Amazon Glacierの最新の料金体系についてはAmazonの公式ページをご参照ください。 料金 - Amazon Glacier | AWS よくある質問 - Amazon Glacier | AWS 昨日の出来事 Amazon Web Services から6月の請求が来た。 Total: $20.30 あれ、なんか高いぞ・・。 ちなみに先月は 0.18 ドルだった。 やっぱり高すぎる。 内訳を見たら以下のようになっていた。 たしかに先月 Glacier のデータをリストアしたけど、なんだこの 1,633.224 GB というばかでかい数字は・・。こんな大きいデータリストアしてないし、そもそも持ってない。 調べた Amazon Glacier のリストア料金は「ピーク復元レート」というのに基づいて計算される。ピー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
