NetflixのgithubリポジトリはWeb技術の百貨店だった - DiaryException
検索しているとなにかとNetflixのgithubリポジトリがヒットするので、全部（2015/07/18現在分）調査してみた。 github APIで https://github.com/Netflix のリストを全部取得して、名前・概要・URL・最終更新日時 (なんの更新だ?) を抽出。 AWS用のプロダクトが多かったのでまずそれらと、その他という分類にした。その他はほとんどがJavaライブラリ・システムだが、一部WebアプリケーションやPythonライブラリがある。 日本語での説明はReadmeやWikiを見て書いているが、理解が正しくないかもしれない。 AWS用 aws-autoscaling Tools and Documentation about using Auto Scaling URL: https://github.com/Netflix/aws-autoscalin
大規模トラフィックを捌くための CloudFront 以外の選択肢 – I'm Sei.
〜 大晦日に秒間 1 万ユーザを捌くためにやったこと (ロードバランサー編) 〜今回、ロードバランサーは全面的に AWS の Elastic Load Balancing (ELB) を使用しました。 Web API を提供するシステムにはもともと ELB を使う予定だったのですが、静的ファイルの配信などは ClouldFront + S3 という構成でいこうと思っていました。 が、最終的には静的ファイルを配信するシステムも ELB + EC2 という構成になりました。 そのへんの経緯とか、AWS を使うときのシステムのフロント周りの負荷分散にはどういう選択肢があるのかとか、軽くまとめてみようと思います。 静的ファイルの配信には CloudFront を使ったほうがいいのかCloudFront は S3 と併用することで、静的なファイルの配信のことはほとんど考えなくていい、というくらい簡単
【Tips】AWS-CLIでAWS LambdaのイベントソースにS3を設定する | DevelopersIO
お疲れの皆さま、もう一息で週末ですよ。城内です。 今回は、Lambdaの小ネタです。先日のAWS Summit Tokyo 2015でこの夏に東京リージョンに上陸すると発表があり、皆さまも心躍らせていることかと思います。 概要 内容としては、マネージメントコンソールで操作するところの、以下のアクションをAWS-CLIで実行するだけです。 なんだそれだけかと思うかもしれませんが、やってみなければ分からないこともあります(笑) 気になる方はぜひ続きを読んでくださいね。 内容 Lambdaファンクションの作成 まず、サンプルのLambdaファンクションを作成します。 $ aws lambda create-function --function-name "test-function" --runtime "nodejs" --role "arn:aws:iam::123456789012:ro
EC2-CentOSでエフェメラルディスクにSwapファイルを簡単に作成する方法 | DevelopersIO
こんにちは、せーのです。今日はEC2でCentOSを立ち上げた時に必要となるちょっとした小技を備忘録として書きます。 CentOSはAmazon Linuxと同じようにはいかない Swapファイルはシステムを組む上で必要なものですがEBSは容量課金なのでSwapで使ってしまうのはもったいないです。EBSに色々なデータが増えてくるとOOM Killerの餌食になる可能性も充分考えられます。 そこでSwapファイルは無料でついてくるエフェメラルディスクに置くのがベストプラクティスと言えます。 Amazon Linuxの場合はec2-swapというパッケージを使って sudo rpm -ivh http://repo.classmethod.info/yum/x86_64/cm-repo-release-0.2.0-1.noarch.rpm sudo yum install --enablere
【Amazon S3 Streaming】AWS CLIを使って標準入出力とS3を直接つなぐ【小ネタ】 | DevelopersIO
よく訓練されたアップル信者、都元です。ひさびさのブログになってしまいました。リハビリも兼ねて、小ネタにて。 ローカルファイルシステムと標準入出力 まずは基礎的過ぎる話から。linuxシェル上で、ローカルファイルシステム上のファイルを標準出力に書き出したい時、例えばこんなコマンドを使いますね。 $ cat foo.txt 次に、シェルからちょっとしたテキストファイルを作成したいとき、下記のようにechoとリダイレクトを使って書き込みをすることがあると思います。 $ echo foobar >foo.txt 複数行に渡るファイルであれば、ヒアドキュメント *1を使ってこんな感じでしょうか。 $ cat << _EOF_ >bar.txt aaa bbb _EOF_ ローカルファイルシステムとAmazon S3 さて一方で。AWS CLIでは、下記のようにs3 cpサブコマンドで、S3とローカル
WordPressをStaticPress+Amazon S3+Vagrantでセキュリティ万全にする方法 [前編] - @masuidrive blog
最近、大規模なWordPressのサイトの乗っ取りが発生しました。今回の原因はWordPressではなくサーバの設定に問題があったようですが、LAMPサーバの設定を正しく行うのは難しいですし、ApacheやPHP、WordPressのバージョンアップをきちんと行っていくのは、結構大変です。 自分でサーバを運用していて、セキュリティ対策をきちんとしていると言える人は、実はあまり多くないのでは無いでしょうか？プラグインなどを複数導入している場合には、それらのプラグインのセキュリティ対策を行うのはかなり難しいといえます。 そんな中、高セキュリティ環境でWordPressを運用する方法はないのか考えてみました。それにはサーバ上でアプリを動かさないのが一番では無いでしょうか？ 私のブログであれば、Voteなど動的な機能は使っていないので、WordPressのデータから静的なHTMLを生成して、Ama
![WordPressをStaticPress+Amazon S3+Vagrantでセキュリティ万全にする方法 [前編] - @masuidrive blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c5c3e4330805bfc33fc80aa0e5843be18a0177d/height=288;version=1;width=512/http%3A%2F%2Ffarm1.staticflickr.com%2F6%2F5961468_60d27d4dde_m.jpg)
EC2のChef SandboxをVagrant+BerkShelfでさくっと作る | DevelopersIO
ども、大瀧です。 社内でそこかしこから"Chefで〜"、"Chefが〜"と聞こえるようになってきました。来月、Chefについてお話しする機会なんてのも巡ってきたので、日頃からChefを触っておかねばと一念発起しました！ が、Chefの環境作るのって結構面倒なんですよね。そこで、最近EC2に対応したVagrantを使ってChefのお勉強環境(Sandbox)をさくっと作ってみます。例によって、説明はいっぱい書いてありますが、かいつまんで目を通して、ところどころのコマンドを実行していく感じで見ていただくのがいいと思います。 使ってみたツール Chef Solo : Chefの実行方法はyamatoさんの記事にあるChef Server & Clientもありますが、今回はCookbookの勉強が目的なので、より簡単に構築できるChef Soloで行きます。 Berkshelf : ChefのC
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
フレクトのクラウドBlog: CloudFrontのエッジサーバ上にキャッシュされているオブジェクトを更新する
こんにちは。フレクトの大橋です。 私たちが運営しているベターホームレシピ(http://bhmb.jp)では、画像などの静的コンテンツ の配信にCloudFrontを使っています。 CloudFrontはAmazonが用意しているS3上のオブジェクトを高速に配信する仕組みです。 CloudFrontを使うと、S3のオブジェクトがエンドユーザに対して近くに配置されている サーバ(エッジサーバ)から配信されるようになり、高速のコンテンツの配信ができます。アメリカ西海岸にあるS3の画像が日本国内のエッジサーバにキャッシュされて、高速に配信できたりします。CDN(Contents Delivery Network)の一種です。 CloudFrontのエッジサーバはオブジェクトへのアクセスがあったときに、もしエッジサーバ上に オブジェクトがあれば、それを配信し、なければ、S3にアクセスしにいき、 配
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Amazon Glacierに触れてみる « 東京データネットワーク エンジニアブログ
先日リリースされ、巷で話題の1GBで1円以下のストレージ「Amazon Glacier」。データ取り出しには時間はかかるものの、その分、今までにない低コストを実現した優れものです。 http://aws.amazon.com/jp/glacier/ http://www.slideshare.net/AmazonWebServicesJapan/amazon-glacier Glacierでは、「Vault」という保管庫（S3で言うところのバケット）をまず準備し、この下にコンテンツを保管することになります。 Vaultの作り方 最も簡単なのは、AWS Management Consoleを利用する方法です。 まず、Management Consoleにログインしたら、「Glacier」を選択します。 次に、リージョンを選択して、作成ボタンをクリック Vaultの名前を入れて、Create
FastGlacier - Windows Client for Amazon Glacier - An Extremely Low-Cost Storage Service. Amazon Glacier Client.
What is FastGlacier FastGlacier is a freeware Windows Client for Amazon Glacier - an extremely low-cost storage service that provides secure and durable storage for data archiving and backup. FastGlacier enables you to upload your files to Amazon Glacier using your full bandwidth. With FastGlacier you can also download your files from Amazon Glacier and manage the vaults with ease! Download FastGl
動画配信をしたいなら、まずはここから！ - サーバーワークスエンジニアブログ
こんにちは。 営業の中嶋です。 最近、東京でも30℃を超す日が続いていますが、「あついぞ！熊谷！」で有名な私の出身地である埼玉県熊谷市も相変わらず連日猛暑日です。 ですが、暑さを売りにするために生まれた「雪くま」はとっても美味しいので、この夏ぜひ食べに来てください。 さて、最近AWS導入のご依頼をいただく中で、特に動画配信の案件が増えてきているように感じます。 動画配信をAWS上で行いたい理由として、以下のようなお話をよく聞きます。 ・アクセスが急増しても止まらないサービスを提供したいから ・簡単に動画配信をしたいから ・運用コストを抑えたいから これらの要望に応えるために、AWS上での動画配信は様々な構成が用意されていますが、それぞれどのような構成が最適なのでしょうか。 そもそも動画配信の基本的な知識がないと最適な構成が選択できません。 そこで本エントリーでは、動画配信の基本からおさらい
AWS BeanstalkにCakePHPのサンプルをGitでデプロイした - ブログ
BeanstalkでPHPをGitでデプロイできるそうなのでどんなことができるのかやってみました。 背景 以下のことを調査したかった BeanstalkでPHPのフレームワークの利用 利用した時の感触 Gitでのデプロイによって開発のサイクルを回しやすくしたい CakePHPでのサンプルアプリ作成手順 環境の設定などはこちらのブログを参考にしながら、以下の手順で行いました。 http://d.hatena.ne.jp/j3tm0t0/20120404/1333531368 手元にGitレポジトリ作成 CakePHPをダウンロードしてCakePHPのサイトに手順が載っているブログチュートリアル*1を作る Beanstalkの環境構築 AWSのレポジトリにPush 確認 ちょこちょこつまづきながらも、できました。Gitデプロイ便利ですね。 確認/少し工夫したこと Gitでの開発→テストを簡単に
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
Flashで別ドメインから署名付きURLでCloudFrontにアクセスするときの問題 | DevelopersIO
前回に引き続き今回も担当したプロジェクトでAWSを使用したので、同じく事例を書いてみました。 ■FlashとCloudFrontを使ったプロジェクト 担当したプロジェクトは、UIにFlashを採用し、要件として様々な形式のファイルがアップロード可能（保存）かつ、ダウンロードも可能（閲覧）である事、さらにダウンロードの速度についてもある程度の速さを求められるというものでした。 扱うファイルは大別して二種類あり、ひとつは機密性が重視されるファイルで外部に漏洩させることが出来ないファイル。 もうひとつは、共有するユーザー間でのみ公開を目的としたファイルや、アップロードした画像ファイルから生成したサムネイルファイルなど外部へ漏洩したとしても比較的問題のないファイルです。 そこで、CloudFrontを使った構成を考えました。 CloudFrontはS3上のファイルをキャッシュし、物理的にユーザーか
Amazon RDS で肥大化したslow_logテーブルをクリアする方法
以前AmazonRDSでslow queryを出力するようにする方法にてRDSでslow_logを出力するように設定すると、mysqlデータベースのslow_logテーブルにログが保存されるようになるのですが、このテーブルに保存されたデータは、RDSで作成できるユーザーの権限では削除することができません。 mysql> delete from slow_log; ERROR 1556 (HY000): You can't use locks with log tables. mysql> truncate table slow_log; ERROR 1044 (42000): Access denied for user 'xxxx'@'%' to database 'mysql' このことはgeneral_logにも言えるのですが、 これに対して、Amazonから以下のストアドプロシージ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CentOS に AWS CLI を「pip install awscli」でインストールする手順 | Check!Site
Amazon CloudFront