[aws]auto scaling構成でのログ集約を簡単にやりたい - Qiita
fluentdやらkinesis firehoseやらELKやらathenaやら、いろいろ考えてるとややこしくなってきました。 例えば、新規にaws上にサービスを構築するとして、あまり作りこむこともなく、お金をかけることもなく、って場合にどれがいいのやら。 そういうのを考えながらやってみるエントリでございます。 前提 elb配下でec2がauto scaling構成で稼働している ec2はステートレス ec2上でapacheが稼働している 要件 apacheのログを自動で集約したい ログはDLせずにクラウド上で調査したい 導入は1～2時間くらいで コストは最小限 拡張性もほしい ログが複数行にわたる場合にも対応したい 構成検討 構成としてはec2に何らかのエージェントを入れて、そこからpushする方式とします。 エージェントとして検討するのは、 fluentd kinesis agent
![[aws]auto scaling構成でのログ集約を簡単にやりたい - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/120b2da714780e040b76905df7afd42838cd6c99/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCYXdzJTVEYXV0byUyMHNjYWxpbmclRTYlQTclOEIlRTYlODglOTAlRTMlODElQTclRTMlODElQUUlRTMlODMlQUQlRTMlODIlQjAlRTklOUIlODYlRTclQjQlODQlRTMlODIlOTIlRTclQjAlQTElRTUlOEQlOTglRTMlODElQUIlRTMlODIlODQlRTMlODIlOEElRTMlODElOUYlRTMlODElODQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTJkZDg4MDA2OTM0MmZhMTAwYWQ1MjJiNDAyY2UxZWQy%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaWtlZ2FtMSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjQ1ZmU5OWYwNTE3OGNlMGZmMmQ4YzVmYTQ4NGJlZTE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D47489d908deb17cd391b6d0584caee94)
AWS lambdaを利用してS3の画像アップロードをトリガーにサムネイル画像を自動生成する | 株式会社ビヨンド
トリガーの有効化のチェックは入れません。 後程記述する関数の動作確認が終わってから手動で有効にします。 入力が終わったら次へをクリックします。 この画面で実際に関数を記述していきます。 関数名を記入する項目がありますがこの部分はお好きな名前で大丈夫です。 設計図の選択画面で「s3-get-object」を選択したので S3からファイルを取得するためのコードが予め記述されています。 'use strict'; console.log('Loading function'); const aws = require('aws-sdk'); const s3 = new aws.S3({ apiVersion: '2006-03-01' }); exports.handler = (event, context, callback) => { //console.log('Received ev
S3の基本的な操作をしたメモ(AWS SDK for PHP 3.x) - Qiita
やってみた感想 Goofysで S3 を mountした方が楽な気がする。 S3Client でAWS Signature Version 4する方法が解らなかった。 環境 EC2 + S3 EC2 t2.nano (region=us-west-2a) Amazon Linux AMI release 2016.03 PHP 7.0.7 (cli) (built: May 25 2016 18:36:46) ( NTS ) Server version: Apache/2.2.31 (Unix) S3 (region=us-west-2) S3の構築 バケットの作成 任意のバケット名を入力してクリッククリック。 S3アクセス用IAMユーザ作成 AWS アカウント内での IAM ユーザーの作成 credentials.csv をダウンロードしておく。 中身はこんな感じ
Blue/Green Deployments with Amazon Elastic Container Service | Amazon Web Services
AWS Compute Blog Blue/Green Deployments with Amazon Elastic Container Service This post and accompanying code was generously contributed by: Deploying software updates in traditional non-containerized environments is hard and fraught with risk. When you write your deployment package or script, you have to assume that the target machine is in a particular state. If your staging environment is not a
GoogleドキュメントスプレッドシートにAWS EC2一覧を自動作成する - YOMON8.NET
AWS Management Consoleはとても良く出来ていて、管理資料なんか無くても良いくらいです。 Windows使うことも無くなり、EXCEL開く回数も激減したのですが、それでもEXCELと一緒に社会人としての人生を生きてきているので、どうしてもあの表形式から離れられません。 今会社はExcelよりもGoogleドキュメントの方が良く使うので、そちらにEC2のリストを取得するスクリプトを書いてみました。 準備 スクリプト(Ruby)準備 Google ドキュメントの認証情報 設定ファイル準備 実行してみる 【補足】Google認証情報の取得方法 準備 AWSとGoogle Docsそれぞれの連携用のGemをインストールします。 gem install aws-sdk gem install google_drive スクリプト(Ruby)準備 以下のRubyスクリプトを適当なフォ
EC2のスナップショットを自動的にAWS Lambdaで作成する - Qiita
AWS Lambda? サーバレスでプログラムを実行できるようなもの 1 か月 1,000,000 リクエストは無料 今回のような１日１回動かす程度なら無料でずっと使えます 詳しくは → https://aws.amazon.com/jp/lambda/faqs/ やりたいこと Lambdaのスケジュールイベントを使って自動的にEBSのスナップショットを作成する 今回使用する言語はPython スナップショットの対象は、EC2インスタンスのタグに「Backup-Generation」が付いているものとする Backup-Generationの値には、0以上の数字を指定する スナップショットの保存件数は、Backup-Generationの値とする 0のときはスナップショットを作成しない スナップショットの保存件数を超えた場合は、作成日付の古いものから削除する 作成したスナップショットのDe
EC2からStorage Gateway経由でS3をNFSマウント
こんにちは、インフラ担当の赤川です。 AWSの最新情報（英語版）にて、StorageGatewayを利用してEC2からS3マウントが可能になるとのアナウンスされました。 今回のアップデートにより、これまでの問題が解消できるのかベンチマークを取ってみました。 準備した環境 クライアント 比較するために以下A〜C3つのインスタンスを準備しました。 A.FileGateway経由でS3バケットをnfsマウントしたディレクトリをDocumentRootとしたインスタンス B.s3fsでS3バケットをマウントしたディレクトリをDocumentRootとしたインスタンス C.ローカルディスク内にDocumentRootを配備したインスタンス 各インスタンスにhttpdをインストール。 サーバ毎にDocumentRootを変更。 StorageGateway Gatewayの要件はこちら ・・・なのです
Instance Store(Ephemeral Disk)を後から使用する | DevelopersIO
はじめに インスタンスストアについてです。 インスタンスストアを使用していなかったけど後から使いたいと思う方もいるかと思います。 今回はインスタンスストアの概要と後から使用する方法をご紹介します。 概要 インスタンスストアは、インスタンスで使用するためのブロックレベルの一時ストレージを提供します。 インスタンスストアは無料で使用でき、任意のファイルシステムが利用可能、 ローカルディスクのためネットワークの影響も受けにくいという利点があります。 注意点としてインスタンスストアのデータはインスタンスを停止(stop)した際にデータは消えてしまいます。 スナップショット機能やEBSのように別のインスタンスに付け替えはできません。 インスタンスストアを使うべきなのは？([AWSマイスターシリーズ] Instance Store & Elastic Block Storeより) インスタンスストアを
Amazon EC2(Linux)のswap領域ベストプラクティス | DevelopersIO
ども、大瀧です。 Linuxのメモリ管理で欠かせないのがswapですよね。EC2のディスク管理には独特な仕様があるのでその辺りを踏まえつつ、EC2(Linux)でどのようにswap領域を用意するのが良いのかまとめてみたいと思います。 理屈をこねながらの解説になるので、先に本エントリーの結論を。 公式AMIにはswap領域が含まれない m1.small、c1.mediumには900MBのスワップ領域がおまけでついてくる(Amazon Linux AMIであれば、Cloud-initによって自動マウントされる) swap領域には、インスタンスストア(別名Ephemeral Disk)を使うべし では、それぞれ見ていきます。 公式Linux AMIの初期構成にはswapパーティションが無い Amazonから提供される公式のLinux AMIのブートディスクには、swapパーティションが含まれてい
Ephemeral Diskを贅沢にswapに使ってみる - サーバーワークスエンジニアブログ
こんにちは、サーバーワークスの三井です。 いよいよ寒くなってきて、物理サーバの温もりが恋しくなってきましたね。ラックの裏側は温かいし、常に一定のトーンで鳴り響くファン音があらゆる雑念を振り払ってくれるので集中するには持ってこいの場所ですよね（遠い目 さて閑話休題、今日はEC2インスタンスのEphemeral Diskをswap領域として贅沢に使う方法について簡単に紹介します。 Ephemeral Diskとは今更かもしれませんが確認です。 Ephemeral Diskとは、インスタンスストア(Instance Store)とも呼ばれる、揮発性のストレージです。揮発性なので、EC2インスタンスを停止するとデータは削除されます。 EC2インスタンスが稼働する物理ホストのディスクアレイの一部を切り出してアタッチするので、ネットワーク経由でアタッチされるEBSと比較して速度が早いという特徴がありま
既存のAmazon EC2インスタンスにIAM Roleがアタッチできるようになりました | Amazon Web Services
Amazon Web Services ブログ 既存のAmazon EC2インスタンスにIAM Roleがアタッチできるようになりました AWS Identity and Access Management(IAM) のロール を利用することで、Amazon EC2上で実行するアプリケーションは、AWSが自動的に作成、配布、およびローテーションする一時的なセキュリティ資格情報を利用することができます。一時的な資格情報を使用することは、IAMのベストプラクティスとなっており、インスタンスで長期間の鍵の管理する必要がなくなります。IAM Roles for EC2 (EC2のIAMロール)を使用することで、長期的なAWSアクセスキーを手動またはプログラムで管理する必要もなくなります。そして本日、既存のEC2インスタンスにIAMロールをアタッチすることが可能になり、アプリケーションはAWSによっ
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
AWS EC2 で Let's Encrypt - Qiita
注意 Let's encryptのクライアントがCertbotクライアントに更新されています。 使い方はさほど変わってないようですが新たに利用する人は最新の情報をご確認の上ご利用ください。 AWS EC2上のnginxでLet's Encryptの証明書を取得、更新するための手順をまとめました。 nginxのセットアップ手順などは省略しております。 Let's encryptクライアントをインストールする $ sudo git clone https://github.com/letsencrypt/letsencrypt /usr/local/letsencrypt $ sudo /usr/local/letsencrypt/letsencrypt-auto --help --debug Amazon Linux はまだ正式な取扱ではないため--debugオプションが必要になります。 証
【AWS】Auto Scalingまとめ - Qiita
どうも、iron千葉です。 Auto Scalingについて、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです。 Auto Scalingとは インスタンスの数を自動で増減できる インスタンスの数は最少、最大を指定する 増減のトリガーはCloudWatchのメトリックスを指定できる 増減のトリガーは時間を指定できる Auto Scalingのコンポーネント Auto Scaling Groups オートスケール対象のEC2インスタンスグループの管理単位 EC2インスタンスの最少数、最大数、希望する数を指定 Loaunch Configuretions Auto Scaling時に起動するEC2インスタンスを定義する AMI ID、インスタンスタイプ、ディスクサイズ、キーペア、セキュリティグループ等を指定（EC2インスタンス作成に指定す
Amazon Linuxのcloud-initの実行順番を確認する | DevelopersIO
はじめに まずはおさらいです。 cloud-initでシェルスクリプトとcloud-configを同時に使うで書いた通り、User-Dataにはシェルスクリプトとcloud-init形式(cloud-config)が併記できます。 またAmazon Linuxのcloud-initの動きについて調べてみたに書いた通り、EC2がLaunchする時のcloud-init起動スクリプトの実行順序は以下のようになります。 cloud-init-local cloud-init cloud-config 各種サービスの起動 cloud-final で、じゃあ各起動スクリプトで読み込まれているcloud-initのモジュールは実際にはどういう順番で実行しているのか、確認してみました。 確認してみる User-Dataの内容は以下。シェルスクリプト、per-once、per-boot、per-insta
Amazon EC2(Linux)システム管理で知らないとハマる5つの環境設定 | DevelopersIO
ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ
AmazonLinuxのcloud-initについての調査メモ - Qiita
EC2の起動処理で色々やりたいのでUserDataにシェルスクリプトかcloud-configを書いてやってみようと思ったのですが、そもそもどうやって動いているのか起動タイミングや初回起動のみ実行されるのかなど分からなかったので調べてみたり、動作確認してみたメモ 参考 Linux インスタンスでの起動時のコマンドの実行 Amazon Linuxのcloud-initの動きについて調べてみた Amazon Linuxのcloud-initの実行順番を確認する cloud-init を None データソースで動作確認する cloud-initでスクリプトが実行されるタイミングを調べてみた AWS EC2インスタンス起動時 cloud-initによりホスト名をNameタグ_インスタンスID_IPアドレスに設定する cloud-initのper-xxxまとめ 結論 色々確認しましたが、結論として
AWSのALBがリリースされたので触ってnginxの機能の代わりになるか試してみた - Qiita
概要 AWSでALB（Application Load Balancer）が 2016/8/11にリリースされたので試してみた AWS Application Load Balancer 設定方法・ELBとの違い 設定方法・ELB（Elastic Load Balancer）との違いは以下のblogなどで紹介されているので割愛します 【新機能】新しいロードバランサー Application Load Balancer（ALB）が発表されました AWS Application Load Balancer がきたので試しに作ってみた 概要 出来るようになったこと パスベースルーティング：URLのパスに基いてルーティングが可能です。 複数ポートの登録：1つのインスタンスに複数ポートを登録することが可能です。 コンテナアプリケーションのサポート：ECSはタスクスケジュールので未使用のポートを使用し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
AWS EC2でスナップショットを定期的に自動で取得する
