AWS News Blog
Join AWS Hybrid Cloud & Edge Day to Learn How to Deploy Your Applications in the Everywhere Cloud In his keynote of AWS re:Invent 2021, Dr. Werner Vogels shared the insight of how “the everywhere cloud” is bringing AWS to new locales through AWS hardware and services and spotlighted it as one of his tech predictions for 2022 and beyond in his blog post. “What we will see in 2022, and even more […]
» EC2 is 380% more expensive than internal cluster
Deep Value runs Hadoop at scale on EC2, but we find that running our own cluster is significantly cheaper We have been using Amazon’s EC2 cluster with Hadoop for a number of years to run simulations of various stock trading algorithms. We have found EC2 to quite useful in spinning up large clusters of machines on short notice and generally deploying Hadoop clusters.apotheekonlinebelgie.be The mont
Hadoop-ec2環境の構築[ClouderaのAMIをベースにHadoop環境を構築]
自分で設定したカスタムのAMIを作っておけば、hadoop-ec2スクリプトで簡単に計算ノードを追加できます。 まずはClouderaのAMIをベースにしてHadoop環境を構築してカスタムのAMIとして保存しようと思います。 Clouderaが提供しているAMIの一覧からfedoraの64bitを選びました。 cloudera-ec2-hadoop-images/cloudera-hadoop-fedora-20090623-x86_64 ami-2359bf4a 以下はインスタンスを１台起動してrootでログインしての作業です。 ________ __ /\ _____\ /\ /\ \ \ \ \____/ /\ \ ____ __ __ _\_\ \ ____ __ ____ _____ \ \ \ \ \ \ / __ \ /\ \/\ \ / ___ \ / __ \ /\
2. Cloudera Distribution AMI for Hadoop
If you want to run Cloudera's Distribution for Hadoop (CDH) on Amazon's Elastic MapReduce (EMR), please visit our beta access request page. Running Hadoop on EC2 is easy. We've taken Cloudera's Distribution for Hadoop, and packaged it up in an easy-to-use AMI and associated launch scripts.Once you download and install the client scripts and enter your EC2 account info, bringing up a Hadoop cluster
hadoop-ec2でアクセス解析してみたよ！
前回（http://d.hatena.ne.jp/lopnor/20080831/1220183688）サンプルプログラムを動かすところまで行きましたけど、今回は例のid:naoyaのhadoop streamingでアクセス解析（http://d.hatena.ne.jp/naoya/20080513/1210684438）するのをやってみます。というかなんとかたどり着いたのでまとめを書きます。 *ec2の使い方 id:rx7さんがとても丁寧に説明されている資料（http://d.hatena.ne.jp/rx7/20080528/p1）があるので、そちらを読めば完璧だと思います。僕もこれでec2が使えるようになりました。 *hadoop-ec2の使い方 https://codezine.jp/article/detail/2841がイントロダクション。http://d.hatena.n
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術：CodeZine
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。これまでの連載Hadoop、hBaseで構築する大規模分散データ処理システムHadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思われるもの
大規模インフラ個人運用：AWS+Hadoopの成功例 | wrong, rogue and log
これは西村さんからTwitterで教えてもらったことなのであるが、AWS+Hadoopの幸せな成功例である： Self-service, Prorated Super Computing Fun! NY Timesが過去のアーカイブを含めてすべて無料化したわけだが、そのシステム的な移行措置として過去のスキャンしたTIFF画像をPDFに変換する必要があったのだ。TIFFのサイズは合わせて4TBという巨大さ。 これを行うのに次の構成をとったそうだ：PDF変換にiTextを用いる。変換するマシンはAWS上の100インスタンスをHadoopでMapReduce構成をとることで並列化した。これによりすべてのPDF変換（なんと成果物は1.5TB)が、24時間未満の時間で終了したのだ。そして作業をしたのは、一人のプログラマだけである。 だから言ったでしょ。もう時代は一人大規模サービスの時代なんですよ。そ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
