a2ikmのブックマーク - はてなブックマーク

HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
a2ikm 2016/12/25
hadoop

s3
リンク
AWS Lambdaのための関数のローカル開発とテスト - Qiita
これは個人の意見/メモであり、所属する組織を代表するものではありません。サマリ AWS LambdaのLambda Funcitonをローカルで開発する環境について考えてみた。なお、このポストの続きをAWS Lambdaの関数をnpmでパッケージ管理に書いています。大まかな方法 Lambdaでは、例えば以下のような感じで関数を実装してアップロードする。 var AWS = require("aws-sdk"); var DOC = require("dynamodb-doc"); AWS.config.update({region: "us-west-2"}); exports.handler = function(event, context){ this.docClient = new DOC.DynamoDB(); //Do something with DynamoDB co
a2ikm 2016/02/03
aws

lambda

npm

test
リンク
AWS Lambdaの関数をnpmでパッケージ管理 - Qiita
この記事はAWS Lambdaアドベントカレンダーの15日めのぶんです。エントリーした当初はRedshiftへのデータロード云々を書こうと思ってたんだけど、すっかりその熱は冷めてしまったので開発手法やパッケージングについて書くことにします。お約束ですが、これは個人のメモ/意見であり、所属する組織を代表するものではありません。はじめに以前AWS Lambdaのための関数のローカル開発とテストというのを書いたのだけど、この記事もそこベースにして続きを書き足している感じなのでだいぶかぶっている部分があるのはご容赦を。考え方 AWSのサービスを使った開発をするときによく出てくるネタとしてあるのが「ローカルでの開発」。たとえばDynamoDBだったらDynamoDB Localというモックみたいなものが配布されていて、基本的な考え方としては本物のサービスを使わずにローカルで動く代替物を用意
a2ikm 2016/02/03
aws

lambda

npm
リンク
1