[B! hadoop] elu_18のブックマーク

平成２１年度産学連携ソフトウェア工学実践事業（高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンターの高信頼化に向けた実証事業））事業成果報告書

elu_18 2012/04/03

リンク

Hadoop (4) Pigによる対話的操作

Hadoopの標準インターフェース　hadoop xx xxxx ってのは対話式じゃないので、ちょっと使いにくい。 PigはHadoopのサブプロジェクトで、Hadoopを対話的に操作することが可能なインターフェースと、 MapReduceを効率的に行うための専用言語環境を提供してくれる。 Yahoo！なんかでも使われているっぽい。 Pigの素晴らしいところは、LISPのREPLのように、書いたコードをその場で実行しながら確かめられること。 ■事前準備完全分散モードのHadoop環境が必要なので構築しておく。 Hadoop (3) 完全分散モード ■参考ページきりんさん日記 1台でHive, Pigを試してみる(Ubuntu + Cloudera) （１）Pigの入手する ftp://ftp.meisei-u.ac.jp/pub/www/apache/dist/hadoop/pig/

elu_18 2012/03/13

pig
hadoop

リンク

大規模なデータセットを効率的に扱うための Pig 超入門 - (ﾟ∀ﾟ)o彡 sasata299's blog

2010年07月07日22:38 Hadoop 大規模なデータセットを効率的に扱うための Pig 超入門 Pig あるじゃないですか。Hadoop のラッパーで、DSL で書けるというアレです。最近は Twitter や Yahoo! などで使われているらしき Pig。Hadoop を扱う場合、mapper と reducer をそれぞれ記述する必要がありますが、この Pig を使うと DSL を書くだけで内部的に処理を mapper, reducer として実行してくれます。その結果、記述量が減って開発時間が短縮できるというメリットがあります。アイコンがもう少し可愛ければ、、と思うと残念でなりません。なんだこのドヤ顔は・・今まで「良さそうだなー」と思いつつ触れていなかったのですが、今回触ってみる機会があったので軽くまとめておきます。※Pig を動かす環境については出来ている前提です。