SQL感覚でHiveQLを書くと痛い目にあう例 - still deeper
Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ
『プログラミング Hive』 『Hadoop 第3版』刊行記念セミナーに参加しました！ #oreilly0724
『プログラミング Hive』 『Hadoop 第3版』刊行記念セミナーに参加しました！ #oreilly0724 Hadoopとか離れちゃってるし、Hive触ったこと無いにもかかわらず参加しました！ （たまたま近くにいるからって理由なのは内緒で） 玉川さんの四方山話を聞くのが主目的で参加しました。（ちょっと翻訳が気になってるので） イベントページはこちら 刊行記念イベントにも関わらず、想像以上の人の入りでびっくりしました。Hadoop、Hive界隈はまだまだ人気なんだなぁと。 プレゼントじゃんけん大会もあったのですが、そうそうに負けてしまったのが悔やまれます。。。 Team Geek欲しかったなぁ。もちろん、懇親会まで参加しました。 以下、いつものメモです。 Hiveの正しい使い方（Cloudera 嶋内さん） 残念ながら、マサカリは持ってなかったです。 スライドの各所に本の章番号が書いて
Hadoopをより便利に使う！HiveでのMapReduceまとめ - Y's note
目次 Hiveとは Hiveの設定 HiveQL構文(DDL) DataBase/SCHEMAの作成 Database/SCHEMAの削除 Tableの作成 Tableの削除 Table名変更 Partition作成 Partitionの削除 Columnの変更 Columnの追加/置き換え TableのProperty変更 SerDe Propertyの追加 HiveQL構文(SQL) テーブル一覧表示 テーブルの内容を表示 基本的なSELECT文 WHERE句(条件指定) DISTINCT(重複削除) ORDER BY / SORT BY句(ソート) GROUP BY句(グループ化) HAVING句(グループ化後の条件) LIMIT句 JOIN(テーブル結合) 抽出カラムを正規表現で指定 UNION(結果の結合) SUBQUERY LOAD(データの読み込み) Hiveを使う 事前準備
GettingStarted - Apache Hive - Apache Software Foundation
Installation and ConfigurationYou can install a stable release of Hive by downloading a tarball, or you can download the source code and build Hive from that. Running HiveServer2 and BeelineRequirementsJava 1.7 Note: Hive versions 1.2 onward require Java 1.7 or newer. Hive versions 0.14 to 1.1 work with Java 1.6 as well. Users are strongly advised to start moving to Java 1.8 (see HIVE-8607). Had
Hiveをjdbc経由で使う方法 - brfrn169の日記
現在、仕事でHadoopのサブプロジェクトであるHiveをいじってます。 で、今回、JDBC経由で使ってみたので紹介します。 Hiveのインストールなどの仕方は以下を参照してください。 http://wiki.apache.org/hadoop/Hive/GettingStarted まず、Hiveサーバを立ち上げます。 ポート番号はHIVE_PORTを設定しておけば、変更できます。デフォルトは10000です。 hive --service hiveserver で、以下のようなコードで、HiveにJDBCでアクセスできます。 String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; try { Class.forName(driverName); } catch (ClassNotFoundException e) { e
Thriftのインストール - brfrn169の日記
だいぶ今更ですが、はまったのでメモしときます。 環境は、CentOS 5.5 です。 ダウンロード 下記URLからダウンロードします。 http://incubator.apache.org/thrift/download/ 現在の最新版は、0.5.0です。 インストール まず、依存ライブラリをインストール sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel Thrift本体をインストール tar xvzf thrift-0.5.0.tar.gz cd thrift-0.5.0 ./configure --prefix=/usr make sudo make install ここで、make中に
RubyからHiveサーバ経由でHiveを使う - brfrn169の日記
HiveサーバはThriftでできてるんで当然Rubyからも使えます。 が、ひどくはまったんでメモしときます。 環境は、CentOS 5.5です。 Thriftのインストール id:brfrn169:20101010:1286699822 Hiveサーバの立ち上げ方など id:brfrn169:20100312:1270530644 クライアントコードの生成 まず、http://archive.cloudera.com/cdh/3/ からソースを落としてきます。 落としてきたら、IDLからクライアントコードを生成します。 tar xvzf hive-0.5.0+20.tar.gz thrift -gen rb hive-0.5.0+20/src/service/include/thrift/fb303/if/fb303.thrift thrift -gen rb hive-0.5.0+20
Apache Hive
Apache Hive The Apache Hive ™ is a distributed, fault-tolerant data warehouse system that enables analytics at a massive scale and facilitates reading, writing, and managing petabytes of data residing in distributed storage using SQL. Github Mail Docker Community Apache Hive is a distributed, fault-tolerant data warehouse system that enables analytics at a massive scale. Hive Metastore(HMS) provid
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop＋Hive検証環境を構築してみる
HiveQLメモ(Hishidama's Apache Hive HiveQL Memo)