MXNetをAmazon Deep Learning AMIとスポットインスタンスのGPUで試してみる | DevelopersIO
はじめに ディープラーニングフレームワークであるMXNetを、Amazon Deep Learning AMIとGPUインスタンスで試してみました。あらかじめ用意されているAMIを使うことで、インストール作業を全くすること無しに、すぐに動作させることができます。ディープラーニングに必須アイテムとも言えるGPUですが、スポットインスタンスを使えばお安く試すことができます。 Deep Learning AMI GPUを使ったディープラーニングをすぐに使えるようにするDeep Learning AMIが提供されています。以下のように、たくさんのディープラーニングフレームワークがあらかじめインストール済みとなっています。 MXNet Caffe Caffe2 TensorFlow Theano CNTK Torch Keras これらのフレームワークに加えて、GPUを使うためのCuda関連のドライ
AWSのEC2 P2スポットインスタンスにCUDA8.0とChainerをセットアップ - はらぺこらいおん
AWSでP2インスタンスがリリースされました！（結構前になりますが。。。） Amazon EC2 P2 インスタンス| AWS 今までのG2インスタンスやElasticGPU（インスタンスにアタッチできるGPU）より、汎用的な計算に向いており、Tesla K80を搭載しているようです。 今回はp2.xlargeのスポットインスタンスを使ってみたいと思います。簡単に行いたい場合はオンデマンドインスタンスの方が良いです。オンデマンドインスタンスの場合、NVIDIA公式からドライバー等がセットアップされたAMI（OSのテンプレートみたいなもの）が提供されているためです。 それでもなぜスポットインスタンスを使うのかというと、価格が安いからです。以下に料金がありますが、P2インスタンスの中で一番小さいp2.xlargeで$0.9/1 時間（約100円/1時間）となります。バージニア北部リージョンの場
RubyとAWSでつくるメディアストレージ基盤 - Qiita
概要 本基盤の果たす役割としては、「利用者が本基盤に向けてファイルをアップロードし、なんらかの(変換を含む)処理を行って利用サービス側に通知する」というものになる。 そこで、想定する利用イメージを大まかにでも理解してもらうため、抽象的なイメージを図示する。 ファイルをアップロードしたいユーザーは、まず本基盤の利用サービスに対してアップロード権限の発行を依頼する。 図では省略したものの、利用サービス側はその依頼を受けて、本基盤に対してアップロードチケットの発行を依頼し、取得した情報をアップロードしたいユーザーに対して返す。 アップロードユーザーはそれを受けて、本基盤に対してファイルのアップロードを行い、アップロード・バリデーション・変換が済んだものについては本基盤が利用サービスに結果を通知するというのが大まかな流れとなる。 次に、本基盤の持つ責務について簡単に解説したい。 本基盤は、メディア
ELB経由でフォワードプロキシ on EC2 : koujiのblog
2015年02月24日20:44 カテゴリ ELB経由でフォワードプロキシ on EC2 ■実現したい事 AWS上でフォワードプロキシサーバを冗長構成(act/act)で用意する。 インタネット越しでそのプロキシサーバを利用する。 ■実現方法 Internet facingのELBを作成する Cent OS on EC2上でフォワードプロキシサーバーを2台起動させる ELBにフォワードプロキシサーバーを2台ぶら下げる ■構成イメージ ■構築方法 ※NATの構築方法については割愛します。 1.フォワードproxyサーバ ※今回はapacheを利用 1-1.apacheのインストール #yum install httpd 1-2.サービスポートを80以外に変更する ※ここがキモ（80だとELB経由では実現できません！） httpd.conf Listen 8080 1-3.フォワードproxy
【AWS】Auto Scalingまとめ - Qiita
どうも、iron千葉です。 Auto Scalingについて、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです。 Auto Scalingとは インスタンスの数を自動で増減できる インスタンスの数は最少、最大を指定する 増減のトリガーはCloudWatchのメトリックスを指定できる 増減のトリガーは時間を指定できる Auto Scalingのコンポーネント Auto Scaling Groups オートスケール対象のEC2インスタンスグループの管理単位 EC2インスタンスの最少数、最大数、希望する数を指定 Loaunch Configuretions Auto Scaling時に起動するEC2インスタンスを定義する AMI ID、インスタンスタイプ、ディスクサイズ、キーペア、セキュリティグループ等を指定（EC2インスタンス作成に指定す
Amazon Linuxにffmpegを入れて動画エンコーディングする | DevelopersIO
ffmpeg 動画のエンコーディングってコンピュータリソースを多く使う作業なことは知られています。少し前までは自作でハイスペックマシンを構築して、最速エンコーディング自慢するという散財が流行っていましたが、今はクラウドを活用しましょう。Amazon Elastic Transcoderというサービスもありますが、細かい設定をしたいといった場合にはffmpeg等を使うのもアリです。今回は、Amazon Linuxにffmpegの環境を構築したいと思います。 yumにリポジトリを追加 Amazon Linuxでは、便利なリポジトリが標準で用意されていますが、ffmpegは入っていませんので、リポジトリを追加します。 rpmforgeの追加 $ rpm -Uhv http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.2-2.el6
クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。 | 三度の飯とエレクトロン
Apache Sparkを試しています。 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！ Apache SparkをJavaアプリケーションから使う。 ここまでは、単一のホストで動作を試していましたが、分散処理のためのライブラリなので、複数ホストで試さなければ本当の性能は得られません。 そこで、ここからはSparkのクラスタを構築していきたいと思います。 Apache Mesosは汎用のクラスタマネージャー 分散処理クラスタを構築する方法として、SparkのドキュメントにApache Mesosを使う方法が書かれています。 Apache Mesos Mesosは汎用のクラスタマネージャーです。具体的に何をしてくれるかというと、クラスタを管理して、ホストごとのリソースの余裕を見て、タスクを振り分けたりしてくれます。 もうひとつ、YARNという選択肢があります。
0から始めるAWS入門①：VPC編 - Qiita
前回まで 0から始めるAWS入門:概要 概要 概要で説明した環境を構築するにあたって、いきなり若干小難しいがVPCから構築していく。 イメージ的に言えば、これから作る環境の囲い・箱を作るイメージ。 なぜVPCを用いるのか セキュリティ ・VPCを構築することで、サブネット単位・ホスト単位での柔軟なアクセス制御ができる ・パブリック・プライベートサブネットの切り分けができる ネットワーク ・固定のローカルIPを使える その他 ・今回無料枠で学ぶことを踏まえてると、EC2のt2.microインスタンスはVPC必須なため、いっそのこと一緒にお勉強 VPC構築 下準備 リージョンの変更 初めての場合は、ログイン後まず左上のドロップダウンメニューからリージョンをTokyoへ変更する。 クラウドと言えど実態は物理的なもので地理的な影響は受ける。リージョン選択はどの地域でAWSを使うか(ex.どの地域に
Vagrant と Chef による仮想環境構築の自動化（AWS 編） | オブジェクトの広場
AWS のようなクラウドサービスが一般に浸透したことにより、仮想環境を前提とした開発が一般的になってきました。必要になったときに必要な構成のリソースにアクセスできるクラウドの強みを活かすため、オンデマンドで仮想環境を構築し直す機会が以前よりも増えてきています。このような状況では、仮想環境をより効率的に構築する必要があります。本記事のシリーズでは効率的な仮想環境構築の手段の一つとして、Vagrant と Chef というツールで環境構築を自動化する方法を紹介します。第 1 回 VirtualBox 編に続く、第2回である本記事はAWSでの環境構築方法を紹介します。 はじめに 本記事では第 1 回 VirtualBox 編で構築した仮想環境と同じものを AWS 上に構築します。環境構築対象が異なり、設定ファイルの記述が異なりますが、Vagrant や Chef の概要、基本的な使い方は共通です
AWS EC2へのSSHに対する攻撃を分析してみた (2015年4月〜6月) | ある研究者の手記
数ヶ月間、私のお小遣いを貪り続けてきたAWS EC2上のハニーポットですが、さすがに財布へのダメージが蓄積してきたのでいったん停止させました。停止させたもののそれなりにデータを蓄積していたので、さてどうしようかなと思っていたのですが、 先日、長崎で開催された情報処理学会のコンピュータセキュリティシンポジウム2015で聞いた講演の一つに SSHの新しい攻撃方法について触れられていてちょっと気になったので、収集したデータのうちSSHに関しての通信のみちょっと分析してみました。 ハニーポットの構成やデータの収集方法については過去のエントリを参照していただきたいのですが、 今回はAWS Asia Pacific (Tokyo)上でEC2のインスタンス4つを4月頭から6月末まで動かしてデータを取得しました。財布へのダメージも4倍！ しかしおかげで複数のIPアドレスで観測した時に生じる差分について知る
AWSを一年使ってみて、最初から知っておけば良かったこと
AWSを使い始めて約一年が経過したので、この一年を振り返ってみて、最初から知ってた方が良かったな〜と思ったポイントをピックアップしてみました。 IAMロールはName変えられないし付け替えもできない件勢いだけで作ったIAMロールを付与して意気揚々と運用開始！数ヶ月後に付け替えできない事に気付いて、ec2ctrlとかいかにもEC2インスタンスをコントロールするためのロールなのに、なぜかS3の全権限付与してたり、もはや名前から予測できない事態になってしまったという話。 まぁ、別にオオゴトでは無いんですけどね。インスタンス作り直せば付け替えできるし、新しいロール作ってインスタンス作り直せばいいだけの話です。やるかやらないか。 やりませんけど！ VPCでVPN接続はリージョン毎に１つしか設定できなかった件IDC側のグローバルIPが複数用意できない前提ですが、IDCとAWS(VPC)間でのVPN接続
大規模Node.jsを支えるロードバランスとオートスケールの独自実装（FRPもあるよ） - Qiita
というテーマで東京Node学園祭2015でセッションさせて頂くことになったので、先に整理/メモ的ななにかを。 （追記）以下資料で発表しました。 大規模Node.jsを支える ロードバランスとオートスケールの独自実装 http://www.slideshare.net/kidach1/nodejs-54841327 作ったもの ・スマホゲーム（マルチプレイアクション） 【公式】メザマシフェスティバル(メザフェス) | 株式会社アカツキ https://mezamashi-festival.aktsk.jp ・2D横スクロール ・マルチプレイ ・4人同時対戦 ・座標同期型 ・全国マッチング システム概要 Client： Cocos2d-x (c++) Server： API Server：Rails Websocket Server：Node.js 詳しくは スマホアプリにおけるマルチプレイア
GoogleスプレッドシートからAWSを操作する
最近、TerraformやCloudFormationみたいに、JSONや独自DSLなどでかっこよくAWSを管理するツールがいろいろ出てきてます。 こういうツールは便利そうだなとは思うんですが、なんかふと、ユーザがホントに求めているものはコレなんだろうか？と思いました。 なんだかんだ言って、一番多く使われているサーバ管理ツールは『Excelサーバ一覧』なのではｗ？ じゃあExcelで同じようなことが出来ればそれが一番いいのでは？と。 というわけで、Excelは手元になくてキツイので、今回はGoogleスプレッドシートでAWSのサーバ構成管理をやってみました。 使い方 事前準備 サンプルのスプレッドシートをコピーする 『ツール』 -> 『スクリプトエディタ』 -> config.gsを編集 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEYにAWSのアクセスキーを
0から始めるAWS入門：概要 - Qiita
研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Datab
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いぬごやねっと
Amazon Web Servicesのロードバランサで負荷分散するWebサーバを構築しよう