[aws]auto scaling構成でのログ集約を簡単にやりたい - Qiita
fluentdやらkinesis firehoseやらELKやらathenaやら、いろいろ考えてるとややこしくなってきました。 例えば、新規にaws上にサービスを構築するとして、あまり作りこむこともなく、お金をかけることもなく、って場合にどれがいいのやら。 そういうのを考えながらやってみるエントリでございます。 前提 elb配下でec2がauto scaling構成で稼働している ec2はステートレス ec2上でapacheが稼働している 要件 apacheのログを自動で集約したい ログはDLせずにクラウド上で調査したい 導入は1～2時間くらいで コストは最小限 拡張性もほしい ログが複数行にわたる場合にも対応したい 構成検討 構成としてはec2に何らかのエージェントを入れて、そこからpushする方式とします。 エージェントとして検討するのは、 fluentd kinesis agent
![[aws]auto scaling構成でのログ集約を簡単にやりたい - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6b1ed05bc599642db081a9076f926d7cf501963b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCYXdzJTVEYXV0byUyMHNjYWxpbmclRTYlQTclOEIlRTYlODglOTAlRTMlODElQTclRTMlODElQUUlRTMlODMlQUQlRTMlODIlQjAlRTklOUIlODYlRTclQjQlODQlRTMlODIlOTIlRTclQjAlQTElRTUlOEQlOTglRTMlODElQUIlRTMlODIlODQlRTMlODIlOEElRTMlODElOUYlRTMlODElODQmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTY2MTM0YTMzNGI2MzIwOTNmYzFlYjFiZWIwNTAwOGI5%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBpa2VnYW0xJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jMjY3OWQ5ZTgwNjc0ZjRlM2IxNTE1NDJiMWQwMGIyYw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D91dd78465cbb577cd215a6a08e67c202)
amazon S3画像へのクロスドメイン接続を許可する - Qiita
JavaScriptから非同期でs3の画像を取得するとき。 CORSという仕組みを使う。 S3でCORS設定 S3の設定ページで「CORS設定の編集」をクリック AllowedHeaderを↓のような感じに編集。 <?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>
AWS lambdaを利用してS3の画像アップロードをトリガーにサムネイル画像を自動生成する | 株式会社ビヨンド
トリガーの有効化のチェックは入れません。 後程記述する関数の動作確認が終わってから手動で有効にします。 入力が終わったら次へをクリックします。 この画面で実際に関数を記述していきます。 関数名を記入する項目がありますがこの部分はお好きな名前で大丈夫です。 設計図の選択画面で「s3-get-object」を選択したので S3からファイルを取得するためのコードが予め記述されています。 'use strict'; console.log('Loading function'); const aws = require('aws-sdk'); const s3 = new aws.S3({ apiVersion: '2006-03-01' }); exports.handler = (event, context, callback) => { //console.log('Received ev
S3の基本的な操作をしたメモ(AWS SDK for PHP 3.x) - Qiita
やってみた感想 Goofysで S3 を mountした方が楽な気がする。 S3Client でAWS Signature Version 4する方法が解らなかった。 環境 EC2 + S3 EC2 t2.nano (region=us-west-2a) Amazon Linux AMI release 2016.03 PHP 7.0.7 (cli) (built: May 25 2016 18:36:46) ( NTS ) Server version: Apache/2.2.31 (Unix) S3 (region=us-west-2) S3の構築 バケットの作成 任意のバケット名を入力してクリッククリック。 S3アクセス用IAMユーザ作成 AWS アカウント内での IAM ユーザーの作成 credentials.csv をダウンロードしておく。 中身はこんな感じ
PHP 5.6でS3にファイルをアップロード - Qiita
{ "includes": ["_aws"], "services": { "default_settings": { "params": { "profile": "test-user", "region": "us-east-1" } } } } <?php require '/Users/zeng/s3upload/vendor/autoload.php'; use Aws\Common\Aws; $aws = Aws::factory('./my_config.json'); $client = $aws->get('S3'); $result = $client->listBuckets(); foreach ($result['Buckets'] as $bucket) { // Each Bucket value will contain a Name and Creatio
S3にアップロードされた画像にCache-Controlを付ける方法3選 - Qiita
はじめに 某WebメディアをGoogleのPageSpeed Insightsにて解析したところ、「画像にCache-Controlが設定されてないぞ」と怒られました。メディア内の記事には大量の画像が使われていて、それらの画像はS3にアップロードされたものを直接参照しています。 CloudFront使えよと言われて片付けられそうな案件ですが、リリース時からそんな準備万端で始められるような事業ばかりでもないわけです。既存のシステムをCloudFrontで置き換えようと思うと、もちろん画像のURLも変更されます。それに伴いシステムにも改修は入りますし、記事内に埋め込まれた画像のURLを頑張って置換する必要があります。ちょっとそれ時間かかる、ということで暫定的にS3に置いたコンテンツにCache-Controlを付けてみました。 これ書いてるうちに結局CloudFrontに移行したけどまあいいや
Amazon Redshift Spectrum 12 のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift Spectrum 12 のベストプラクティス 2019/7/22 に一部内容を更新しました． Amazon Redshift Spectrum を使うことで、Amazon S3 に置かれたデータに対して Amazon Redshift の SQL クエリを走らせることができます。つまり Redshift Spectrum によって、データウェアハウスのローカルディスク内に保存されたデータ以外に対しても、Redshift の分析を拡張できるようになるのです。S3 の “データレイク” に貯まった大量のデータに対して、面倒で時間のかかる抽出・変換・ロード（ETL）処理を行うことなく、クエリを投げることができます。Redshift Spectrum は洗練されたクエリ最適化を用いて、数千ものノードにまでスケールして高
CloudFront + S3 によるCDN (Cache Distribution パターン) 構築手順 | DevelopersIO
渡辺です。 4月でも札幌は雪が降りますが、異常気象でもなんでもなく平常運転です。 今日は、いわゆるCache Distribution パターンでのCDN構築手順をまとめておきます。 CloudFrontの細かい設定は行いません。 S3を静的サイトホスティングで公開し、CloudFrontをキャッシュサーバとして設定し、独自ドメインで公開します。 構築手順 構築は以下の手順で行います。 S3バケットを作成し、静的サイトホスティングで公開する CloudFrontを作成し、オリジンにS3バケットを設定し、代替ドメインを設定する Route53に代替ドメインのCNAMEレコードを追加する S3バケットの設定 S3バケットを作成し、静的サイトホスティングで公開します。 S3バケット名は、最終的に公開するドメインとするのが無難でしょう（例: cdn.example.com）。 バケットを作成したな
Amazon S3のバケットを特定のAWSアカウントに共有する | DevelopersIO
はじめに オペレーション部ではお客様のお問い合わせに日々対応させていただいております。 調査のためログやdumpファイルなどの情報をいただくことがありますが容量が大きい場合、受け渡しに困ることがあります。 その際にS3を利用して弊社AWSアカウントに共有していただくことでファイルの受け渡しができますのでご紹介致します。 設定方法 任意のバケットを準備する Create Bucket → Bucket Name を入力し Region を指定 → Create で作成します。 作成したバケットにBucket Policyを設定する 作成したバケット → Properties → Permissions と進み Add bucket policy をクリックします。 下記ポリシーを入力しSaveします。 { "Version": "2012-10-17", "Statement": [ { "
S3 を単純ストレージとして 利用する手段の比較
2. 自己紹介 • 米田 真治 (こめだ しんじ) – 株式会社サイタスマネジメント CTO – 運用エンジニア • 経歴 – 学生時代にUNIXに出会う – Internetにつながる環境がきた – いろんなプログラムをビルドしているうちに、 開発・構築の楽しさに目覚める – 学科のシステム管理を経験 – システム運用のおもしろさを覚える – 就職してISPのサーバ構築・運用に携わる – 2000年6月 サイタスマネジメント創業 2016/5/14JAWS-UGアーキテクチャ専門支部ハイブリッドクラウド 分科会CDP議論会#5 2 3. バケットをファイルシステムとして マウントするタイプ • バケット上のオブジェクト ⇔ ファイスシステム上のファイル 各オブジェクトがそれぞれ一つのファイルとして見えます。 • s3fs - FUSE-based file system
S3QLでさくらのオブジェクトストレージサービスをローカルマウントしてみよう | さくらのナレッジ
本記事は2021年3月まで提供しておりました旧オブジェクトストレージサービスに関する情報です。現行のオブジェクトストレージとは互換性のないAPIを用いているため、現在はご利用いただけません。ご了承ください。 はじめまして。姫野と申します。 ここでは、さくらのクラウドで「Amazon AWS S3（S3）互換API」をサポートしたオブジェクトストレージサービスが正式にリリースされたのを記念して、「さくらのクラウド」のオブジェクトストレージ（以下オブジェクトストレージ）をサーバーにマウントして使えるS3QLを紹介します。 オブジェクトストレージを使う理由 ファイルサーバーなどを構築する際、どのぐらいのストレージを準備すればいいか、悩んだことはありませんか？ 増え続けるファイル容量、激写される写真や動画、編集するたびに増えるバックアップ…。データの増加を見越して5年程度は対応できるようにストレー
EC2からStorage Gateway経由でS3をNFSマウント
こんにちは、インフラ担当の赤川です。 AWSの最新情報（英語版）にて、StorageGatewayを利用してEC2からS3マウントが可能になるとのアナウンスされました。 今回のアップデートにより、これまでの問題が解消できるのかベンチマークを取ってみました。 準備した環境 クライアント 比較するために以下A〜C3つのインスタンスを準備しました。 A.FileGateway経由でS3バケットをnfsマウントしたディレクトリをDocumentRootとしたインスタンス B.s3fsでS3バケットをマウントしたディレクトリをDocumentRootとしたインスタンス C.ローカルディスク内にDocumentRootを配備したインスタンス 各インスタンスにhttpdをインストール。 サーバ毎にDocumentRootを変更。 StorageGateway Gatewayの要件はこちら ・・・なのです
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
sync — AWS CLI 1.32.108 Command Reference
Description¶ Syncs directories and S3 prefixes. Recursively copies new and updated files from the source directory to the destination. Only creates folders in the destination if they contain one or more files. sync <LocalPath> <S3Uri> or <S3Uri> <LocalPath> or <S3Uri> <S3Uri> [--dryrun] [--quiet] [--include <value>] [--exclude <value>] [--acl <value>] [--follow-symlinks | --no-follow-symlinks] [--
[新機能]Amazon S3のVersioningとLifecycleを組み合わせる | DevelopersIO
ども、大瀧です。 一昨日、Amazon S3に地味〜な機能追加としてVersioningとLifecycleの両方の有効化がサポートされました。 元々S3ではファイル(オブジェクト)の管理オプションとしてVersioningとLifecycleを別々に使うことはできたのですが、排他の関係で両方有効化しようとするとエラーになっていました。両方を組み合わせることで、ユニークな使い方ができそうなのでご紹介してみます。 復習 S3 Versioningオプションとは S3のVersioningとは、保存するファイルを上書きする際に古い内容を維持できるオプションです。Git/Subversionといったバージョン管理ツールほどの機能は持っていませんが、更新前の内容を保持できますので、誤って内容を変更・上書きしてしまった際などに対応できます。 S3 Lifecycleオプションとは S3のLifecy
Amazon Athenaを使ってみました #reinvent | DevelopersIO
こんにちは、小澤です。 今回はre:Invent 2016で発表されたというAthenaというものを使ってみました。 Athenaとは S3上にあるデータに対して直接テーブル定義を行って、SQLでデータの取得が行えるもののようです。 RedshiftやEMRのようにコンピューティングのためのインスタンスを生成する必要がないのも特徴です。 また、JDBC経由だけでなく、Web UI上から対話的にSQLを発行できるようになっており非常に手軽に使えるのも魅力的です。 今回はこのWeb UIからSQLを発行してどのような動きをするのか見てみたいと思います。 使ってみる まずはサンプルで動かしてみる サービス一覧上では「分析」の項目に存在していました。 現状ではアメリカのバージニアとオレゴンの2つのリージョンにしか対応していないようなので、そのどちらかで選択する必要があります。 Getting St
フレクトのクラウドBlog: PerlでAmazon S3の操作をする方法
今日はPerlとS3についてです。 EC2上で稼働しているベターホームレシピ(http://bhmb.jp/)では サーバ側の細かい運用ツールにPerlを使っているケースが多いです。 また、静的コンテンツの公開やログデータのバックアップなどには Amazon S3を使っています。 s3syncなどS3を使うツールはありますが、プログラム経由で操作したい ケースもそれなりにあり、Perlのモジュールを使ってAPI経由で S3を操作し、各種運用をしています。その方法について簡単に紹介します。 [モジュールの選定] PerlでS3を使うには ・Net::Amazon::S3 ・Amazon::S3 あたりのモジュールが代表的なようです。この2つで検討しました。 Net::Amazon::S3の方がドキュメント、機能、パフォーマンスはよさそうすが、 「依存モジュールが少ないこと。インストールしやす
S3+CloudFront+ACM(AWS Certificate Manager)でHTTPS静的サイトを作ってみた - Qiita
ドメイン取得からS3での静的サイト及びHTTPS化(CloudFront,ACS)までやってみた時の作業メモ。 やること ドメインの登録を行う(今回、お名前.comでやったみたが、Route53の登録でもOK) 本例では example.com というドメインを購入したと想定(この作業メモを書いた時は別のドメインで検証しています) S3のStaticWebsiteHostingとCloudFronとACMを利用して、 https://blog.example.com でアクセス出来るようにする ドメインを探す 自分の利用したいドメインを探して購入します。 せっかくなのでRoute53で購入してみたかったのですが、欲しいのが丁度なかったのでお名前.comで購入しました。 登録が完了すれば登録したメールアドレスに登録完了通知が来ているかと思います。 Route53にドメインを登録する 次に取得
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://remotestance.com/blog/3044/
goofysを使ってAmazon LinuxにS3をマウントする。 - Qiita
