小さなファイルが大きな問題を引き起こす
原文: https://blog.cloudera.com/blog/2019/05/small-files-big-foils-addressing-the-associated-metadata-and-application-challenges/ 著者: Shashank Naik, Bhagya Gummalla 訳注: 本稿は2019/5/9に公開されたブログ記事の翻訳です。 「スモール・ファイル」はApache Hadoopの世界では一般的な課題であり、注意して扱わないと、いくつかの複雑な問題を引き起こす可能性があります。Apache Hadoop分散ファイルシステム（HDFS）は、テラバイトからペタバイトの範囲にわたる、大きなデータセットを格納して処理するために開発されました。しかしHDFSはスモール・ファイルを効率的に格納しないため、スモール・ファイルによってNameNo
Impala 落ち穂拾い - Qiita
この投稿はDistributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の22日目です。 昨日はkiszkさんのSparkの記事でした。 この記事の概要 Impalaを使い込んでいる人向けの、役に立つ小ネタ集という位置づけ。 Impala入門ではないので、Impala 入門のような情報は下記のようなページを参照すること。 SQL-on-Apache Hadoop – ジョブの特性に適したツールの選択 http://www.cloudera.co.jp/blog/sql-on-apache-hadoop-choosing-the-right-tool-for-the-right-job.html Apache Impala（Incubating）を使ったAmazon S3 上でのアナリティクスとBIの実現 http
Impalaを使ってみました | Hadoop Advent Calendar 2016 #11 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 11日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHiveで機械学習をおこなうライブラリであるHivemallについて紹介しました。 今回はImpalaについて書かせていただきます。 とはいえ、実は私自身もImpalaは今回が初めてとなります。そのため今回は使ってみたという内容になります。 Impalaとは ImpalaはSQL on Hadoop(SQLでHadoop上のデータアクセスするためのもの)の一種で、HiveQLで処理を記述します。 ImpalaはHiveと比較されることが多いですが、その違いを簡単にまとめてみます。 Hiveは
Impalaのロードマップ 2015年版
本日、What’s Next for Impala: More Reliablity, Usability, and Performance at Even Greater Scale というブログが公開されていました。 このブログには2015〜2016にかけてのImpalaのロードマップが記されています。とはいえ、翻訳されるかどうかわからないので、個人的に興味がある部分を抜粋してみました。意訳ですし間違いがあるかもしれないので、詳細は原文を確認してください。 しかし、来年も楽しみな機能が目白押しですね。 Impalaは、金融サービス、小売り業、ヘルスケア、ゲーム会社、政府、広告、電話会社などの業種に渡って広く本番環境で利用されている いくつかの企業では大規模に利用されており、ある広告会社では1000を超えるエンドユーザのウェブのダッシュボードから秒間80クエリ以上を実行し、数秒で結果を得
Impala Cookbook （非公式）日本語版 (2) メモリ使用量
昨日のImpala Cookbookの非公式日本語版の続きです。昨日は「Impalaの物理設計とスキーマ設計」でした。本日は「Impalaのメモリ使用量」です。 例によって駆け足で日本語化してるので、間違いがあればコメントに書き込むかTwitterでメンションしてください。 原文: [1] The Impala Cookbook http://www.slideshare.net/cloudera/the-impala-cookbook-42530186 メモリ使用量 – 基本 メモリ以下により使用される Hash Join – 復元(decompression)、フィルタリング、射影 (projection)後のRHSテーブル Group by – グループ数に比例 Parquetの書き込みバッファ – パーティションごとに1GB IOバッファ (クエリに渡って共有される） メタデータの
Impala Cookbook （非公式）日本語版 (1) 物理設計とスキーマ設計
The Impala Cookbook 概要 Part 1 – 基本 物理設計とスキーマ設計 Impalaでのメモリ使用量 Part 2 – 実用上の問題 クラスタのサイジングと推奨ハードウェア Impalaでのベンチマーク マルチテナントのベストプラクティス クエリのチューニングの基本 Part 3 – Impalaの外部 Apache Hive, Apache Sentry, Apache Parquetとのやり取り 物理設計とスキーマ設計 – 概要 スキーマ設計のベストプラクティス データ型 パーティション設計 一般的な質問 物理設計 ファイルフォーマット: いつ何を使うか ブロックサイズ（オプション） 物理設計とスキーマ設計 – データ型 数値(Numeric)型を使用する（Stringではなく） 可能であればString型を避ける String => 多くのメモリ消費、多くのディ
Cloudera ImpalaとCatalog Serviceの話
Impalaのメタデータ ImpalaはHiveと共通のメタストアを使用しています。従来、メタデータが変更された場合には、Impalaで”invalidate metadata/refresh”コマンドを使用して変更を認識する必要がありました。Impala 1.2.Xから管理方法が変更となり、メタデータの変更を管理するサービス、Catalog Serviceが登場しています。 Catalog Serviceはメタデータの管理を行う中央型のサービスです。Catalog Serviceはメタデータの更新を処理し、クラスタの全てのImpaladノードに対してどのメタデータの変更が行われたのかをStateStore経由で送信します。 このサービスにより、Impalaによって行われたメタデータの変更は”invalidate metadata”コマンドを実行することなく、全てのノードで自動的に認識され
Cloudera Impalaのアーキテクチャ
（本ブログは若干古くなっているので、Impala情報ページをご覧下さい。比較的新しい情報をまとめています） 一人アドベントカレンダー２５日目、最終日です。 最終日はCloudera Impala（以下Impala）について。Impalaは分散クエリエンジンです。最近EMRでも利用できるようになりました。 Hiveとは何が違うのか、なぜHiveを高速化しなかったのかというような意見もあるようですが、その答えはClouderaの創業者でもあるMike Olsonが今週公開したブログ（Impala v Hive）に詳しく書かれています。かなり興味深い内容ですが、今のところ英語のみです。きっと日本語の記事もいずれ読めるようになるはず。。。 さて、最終日はCloudera Impalaのアーキテクチャについて書いてみます。引用している資料はSlideshareでClouderaが公開しているものです
ClouderaのImpalaさんとimpala-shellで戯れてみる| mwSoft
概要 Impalaさんと親しくなろうという事で（この子を仕事で使う機会があるかは知らない）、とりあえずimpala-shellから「あれやってこれやって」と命令を発してみる。 CSVからテーブルを作ってみる 適当なCSVファイルをHDFSに置いて、そこからテーブルを作ってSELECTしてみる。CSVの内容は下記みたいな感じにしておく。 1,文字列1,true,101.2,2013-10-24 10:20:05 2,文字列2,false,53.15,2013-10-25 10:20:05 3,文字列3,true,-18.5,2013-10-26 10:20:05 4,文字列4,false,0,2013-10-27 10:20:05 5,文字列5,true,-12.35,2013-10-28 10:20:05 test1.csvとでも名付けて、HDFSにあげて、CREATE TABLEする。
VirtualBoxでCloudera QuickStart VM（CDH4）を動かしてみる| mwSoft
概要 Clouderaが公開しているVMイメージを利用して、CDH4を動かしてみる。VMを立ち上げればすぐにHadoopが試せる便利な一品。 本例ではOSはMint13を使用してる。VMなんで他のディストリでもWindowsでも動きはほとんど変わらないはず。 イメージのダウンロード まずはClouderaのダウンロードサイトへ行って、VirtualBox用のイメージを落としてくる。Cloudera QuickStart VMというヤツ。 https://www.cloudera.com/content/support/en/downloads.html ちなみにファイルサイズはかなり大きい。自分が落とした時は2.4GBだった。ダウンロード完了までにけっこうかかるので、将棋でもするか本でも読みながら待つ。８六歩、同歩、8五銀 …… 2七銀。 落としたら解凍する。 このVMに関する説明書きには
Impalaにファイルで投入したデータはいつから検索可能になるの？ - Taste of Tech Topics
こんにちは。kimukimu(@kimutansk)です。 このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/14分です。 多くの人がSQLなら書けるということで、 開発者でなくても自在に検索を定義可能なSQL on Hadoopが今非常に広まりつつあります。 私はそんなSQL on Hadoopの中でImpalaを今使用しているため、Impalaについて書かせていただきますね。 Impalaをデータの集計で使用しているのですが、 その際に「元々存在しているテーブルにデータをファイルで投入する」ことがあります。 ですが、ファイル投入後クエリを実行してみても投入した結果が表示されないことがありました。 かつ、Impalaのサイトを見てもどのタイミングでデータが検索可能になるか、は明確には見つからないんですよね・・
Hadoop関連（全部俺） Advent Calendar 2013 - Adventar
nekop氏に触発されて始めたカレンダーです。普通のカレンダーと違うところは１人で全部書きます。12/1から始めていますが、カレンダー形式で整理してなかったのでここでまとめます。
日記/2013-05-04/Cloudera-ImpaladにODBCで接続する-ubuntu - PukiWiki
概要 † ネット上に、ODBCからImpalaに接続する場合まともな資料が無いので、自分が、ODBC接続した際に、試した方法を書いて見る。 ネット上にまともな資料は無く、唯一、clouderaの資料があるだけだ。 clouderaの資料はこちらからダウンロードする のInstalling and Using Cloudera Impala のConfiguring Impala to Work with ODBCの項目を参考にすること。 使用OSは、ubuntu-server 12.04 32bit ↑ hadoop-imapladの準備 † Clouderaの提供しているVMをおとしてくる。 こちら からVMwareを落としてくる。この環境につなぐことを想定。接続元は32bitなので。 落としたVMを普通に起動すれば、Impalaを含むすべてのシステムがたちあがる。 SELinuxが有効
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Impala ODBC/JDBC bad performance - rows fetch is very slow from a remote server compared with NN
分散型データストアApache Kuduで大量のIoTデータを処理してみた
Overview of Impala Aliases | 6.3.x | Cloudera Documentation
[IMPALA-110] Add support for multiple distinct operators in the same query block - ASF JIRA
[IMPALA-1418] Incorrect error about subquery not supported (query has no subquery) - ASF JIRA
http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_impala_odbc.html
Product Downloads | Cloudera