HiveQLをSpark SQLに移行する際に発生する問題の解決
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは。LINE Plus Messaging Data Eng Dev (NP)チームのデータエンジニア Jeong Woo-Yeongです。HiveQL(Hive SQL)プロセスをSpark SQLに移行する課題に取り組んでいます。主に、INSERT OVERWRITE TABLEというSQL文を使ってデータを格納しましたが、Sparkの設定によって、Hiveではみられなかったさまざまな現象が発生しました。この記事では、その原因と解決方法を探す過程で分かったことを紹介します。 まず、作業を始めることになった背景と作業環境を紹介し、HiveQLからSpark SQLに移行した過程を共有し、Sparkの設定によ
Hive でダブルクオートで囲まれた CSV を扱えるようにする DDL の書き方 - Qiita
CREATE EXTERNAL TABLE IF NOT EXISTS sample_table ( id INT, register_date STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.dynamic_type.DynamicSerDe' WITH SERDEPROPERTIES ( 'serialization.format'='org.apache.hadoop.hive.serde2.thrift.TCTLSeparatedProtocol', 'quote.delim'='"', 'field.delim'=',' );
Apache Hiveのインストール手順 - Qiita
概要 Apache Hadoop と Hive のインストール手順です。 それぞれ別記事に分けて書きます。 目次 Apache Hadoopのインストール手順 Apache Hiveのインストール手順 HadoopでWordCountをやってみる Apache Hadoopのインストール手順の続きです。 Hiveとは、Hadoopのデータを簡単に利用するためのソフトであり、 HiveQLという、SQL文に似た構文でデータを操作することができます。 この手順では、擬似的にスタンドアローンモード（ローカルモード）で構築します。 環境 CentOS 7.1 Hadoop 2.8.0 MariaDB 5.5.52 java 1.8.0 Hive 2.3.0 HBase 1.3.1 このページでは太字のもののインストールを行います。 Apache Hiveのセットアップ 以下のページからApache
CentOSでHadoopとHiveを試してみる（2015年秋編） - Qiita
やりたいこと Hadoopファミリーは日々進化しますが、とはいえ、MapReduceとHiveのニーズは不滅です。現行（最新）かつ素のHadoopとHiveをCentOS上に構築して動作確認してみます。 環境 CentOS6.7（7でも基本同じ:手元にイメージがあっただけ・・・） Hadoop 2.7.1 Hive 1.2.1 準備 CentOS6.7をMinimal構成でインストールした後、 yum update yum groupinstall 'Development tools' yum install wget を実行した状態。テスト自体は、VMWareFusion8上で行っているが、多分依存などは無い。 ssh 疑似分散モードを利用するためには、ssh localhostでパスフレーズ無しでログインできるようにしておく必要があります。
AWSのチュートリアル 〜Analyze Big Data with Hadoop編〜 - Qiita
AWSのチュートリアルの日本語メモ はじめに 最近業務でAWS上に構築したHiveを利用するのですが、より理解を深めたいと思い、今回はAWSのチュートリアルを利用して、Hadoop + Hive環境を1から構築してみました。 チュートリアルの内容 Step1: Set Up Prerequisites for Your Sample Cluster Sign Up for AWS 以前登録していたため、今回はスキップ Create an Amazon S3 Bucket S3とは、データを保存するサービス、詳しい内容はここ 以前に利用したことがあったのでここもスキップ Create an Amazon EC2 Key Pair EC2とは、Amazonが提供してくれているWEBサーバ、詳しくはここ sshでログインするために、key pairを発行する必要がある。 今回はここのサイトを参考
Hive――RDB使いのためのHadoopガイド
前回の記事では、手元のマシン上にHadoop環境を構築してHiveを導入し、基本的な操作を確認しました。今回は同じ環境を使って、より実践的なデータ操作についてみていきます。
SQL感覚でHiveQLを書くと痛い目にあう例 - still deeper
Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ
1台でHBase, Hive, Pig, HUE(旧Cloudera Desktop)を試してみる(Ubuntu + Cloudera)
必要なもの ・Linux(Ubuntu)+Cloudera版Hadoop環境(1台)→ 構築方法はこちら ・インターネット接続 ・Cloudera社のCDH3のHBase, Hive, Pig, HUEのパッケージ(aptでインターネットからインストール) 作業手順 以下の、1. HBase, 2. Pig, 3. Hive, 4. HUEの手順は、独立して試すことができますし、一つの環境でまとめて試すこともできます。(それぞれデータの管理は別々です。) 1. HBase 1-1. インストール: Linux環境にて、rootで作業します。 1-1-1. HBaseをインストールします。 apt-get -y install hadoop-hbase apt-get -y install hadoop-hbase-master apt-get -y install hadoop-hbase
『Hadoop/Hiveを用いたログ解析基盤の構築』
こんにちは。Amebaのログ解析基盤を担当しているICHIROです。 今回は構築・運用中のログ解析基盤「Patriot」について書きたいと思います。 Webサービスを運営していると日々大量のログデータやユーザデータが蓄積されます。 今まではPV（ページビュー）やUU（ユニークユーザ）などアクセスログなどから取れる、大枠の指標のみを見ることがほとんどでした。 ページビューに合わせてシステムを増強するなど、システム側としては十分とも言える指標ですが、広告や課金サービスという視点から見ると十分とは言えません。 今まではAmeba内の個々のサービス担当者が必要とする指標を出すためにアプリエンジニアやDBエンジニアに都度依頼をする形でデータを抽出していました。 今後の課金サービスの発展が見込まれ、よりデータ分析の重要性が高まると考えた私は、エンジニアでないサービス担当者（主にプロデューサ）がより簡単
Hadoop関連技術メモ | tonbyブログ
Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発：Liberty インデクサプロジェクトの例Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発：Liberty インデクサプロジェクトの例 http://www.slideshare.net/ykomiyam/liberty-on-hbase-20091113 Hadoop、hBaseで構築する大規模分散データ処理システム http://codezine.jp/article/detail/2448 Hadoopのインストールとサンプルプログラムの実行 http://codezine.jp/article/detail/2485 複数マシンへHa
SQLライクにHadoop Hiveを使い倒す!
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HiveServer2とbeelineで遊んでみた記録 – OpenGroove
CentOS7への擬似分散モードでのhadoop及び、hiveセットアップ手順 | takemikami's note
Hiveハンズオン
http://www.w3ii.com/ja/hive/default.html
Hadoop＋Hive検証環境を構築してみる