小さなファイルが大きな問題を引き起こす
原文: https://blog.cloudera.com/blog/2019/05/small-files-big-foils-addressing-the-associated-metadata-and-application-challenges/ 著者: Shashank Naik, Bhagya Gummalla 訳注: 本稿は2019/5/9に公開されたブログ記事の翻訳です。 「スモール・ファイル」はApache Hadoopの世界では一般的な課題であり、注意して扱わないと、いくつかの複雑な問題を引き起こす可能性があります。Apache Hadoop分散ファイルシステム（HDFS）は、テラバイトからペタバイトの範囲にわたる、大きなデータセットを格納して処理するために開発されました。しかしHDFSはスモール・ファイルを効率的に格納しないため、スモール・ファイルによってNameNo
分散型データストアApache Kuduの特徴とユースケース
はじめに ネットワークに接続されたデバイスの普及により、さまざまな機器が大量のデータを生成するIoT（Internet of Things）が進展しています。また、AI・機械学習技術の発展により、この大量のデータを活用したデータ分析が注目を集めています。 このような背景から、情報システムが収集・蓄積すべきデータ量は急激に増加しており、かつ蓄積した大量のデータを効率よく分析することが求められています。Apache Kudu（以降、Kudu）はこのようなビッグデータの蓄積と分析に使用するデータストアとして注目を集めています。 Kuduとは Kuduは高いスケーラビリティを持つ分散型のデータストアであり、多数のマシンでクラスタを構成することで大量のデータを扱うことができます。KuduはCloudera社によって開発され、2015年にOSSとして公開されました。 Kuduはクラスタを構成するマシン
象の虫を踏んだ話 - garbagetown
大人の事情で古い CDH 5.1.2 を素の設定で使うと Reducer で OOME が出たり出なかったりする。 2016-02-12 00:58:44,134 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376) at org.apache.h
Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 － Publickey
Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 Twitterは、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表しました。 A new collaboration with Google Cloud - Twitter Twitterは基本的に自社でデータセンターを保有し運用してきました。2017年1月にTwitterのブログに投稿された記事「The Infrastructure Behind Twitter: Scale」によると、Twitterのデータセンターは5つの大陸にあり、合わせて数十万台のサーバが運用されています。 同社が運用しているHadoopクラスタは世界最大級の規模として、以下のように説明されています。 Hadoop: We have
きょうから試せる Hadoop“スモールスタート”ガイド
実際にHadoopで処理を実装していきながら「Hadoopは、誰にだって扱える」を体感しましょう。今回は、Hadoop Streamingとは別のHadoopの利用方法となる「Hiveの使い方」を解説します。
HiveQL で Common Table Expressions (CTE a.k.a. WITH 句) を利用する際に注意すべきこと
HiveQL 弱者が Hive における WITH 句の実装を知らずに利用したら痛い目に遭いそうになったので、メモを遺しておきます。 はじめに SQL でサブクエリが多段になったり FROM 句で UNION ALL する類のちょっと複雑な集計クエリを書こうとしたときに、WITH 句で同じようなサブクエリをひと纏めにし、あたかもテンポラリテーブルのように扱ってクエリの見通しを良くしたり、(RDBMS にもよりますが) あわよくばクエリのパフォーマンス改善も狙う、なんてのはよくあることだと思います。 さて HiveQL では WITH 句をサポートしているのか？ というと、HIVE-1180 を参照するに、Hive 0.13.0 より対応しているようです。利用方法は こちら にあるとおりで、SQL の WITH 句と大差ないことがわかります。 ただ、Hive における CTE の実装を理解し
Impalaを使ってみました | Hadoop Advent Calendar 2016 #11 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 11日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHiveで機械学習をおこなうライブラリであるHivemallについて紹介しました。 今回はImpalaについて書かせていただきます。 とはいえ、実は私自身もImpalaは今回が初めてとなります。そのため今回は使ってみたという内容になります。 Impalaとは ImpalaはSQL on Hadoop(SQLでHadoop上のデータアクセスするためのもの)の一種で、HiveQLで処理を記述します。 ImpalaはHiveと比較されることが多いですが、その違いを簡単にまとめてみます。 Hiveは
Raspberry Pi 2 x 4台でHadoopの完全分散モードを動作させる 前編 - MUDAなことをしよう。
2015年10月11日 前回「完全分散モードでちょっと手こずっています」という終わり方をしてしまいましたが、その後参考になりそうなサイトが見つかったので、それをベースに何とか完全分散モードの動作確認までたどり着きました。 Setting up a Basic Hadoop Cluster 上記の内容をベースに、省略されていたり足りないところを補足しながら進めていきます。それから、補助的に以下のサイトも参考にさせていただいています。 最弱のHadoopクラスタをRaspberry Piで構築する なお、今回はとりあえず動かすことを目的としているので、余分な手順が含まれている可能性があります。予めご了承ください。 ではでは、４台のRaspberry Pi 2にRaspbianをインストールして、初回起動したところからスタートします。 。。。この検証のために新たにRaspberry Pi 2を２
Raspberry Pi上でHadoopクラスタを構築する 〜インストールから擬似分散モードのテストまで〜 - MUDAなことをしよう。
2015年10月3日 今回はお勉強モードです。 普段のお仕事の中で並列分散処理基盤と関わることがあって、それで以前にRaspberry Pi上でのSpark環境構築やらStorm環境構築やらをやったことがあるのですが、並列分散処理基盤の元祖とも言えるHadoopについては、ほとんどノータッチでやってきてしまいました。 多分これからはHadoopよりSparkを使うことの方が多くなってくる気はしているのですが、Sparkを使いこなしていく中で、クラスタマネージャとしてYARNを使わなくてはいけないときがくるかもしれません。 ということで、一回本腰を入れて、Hadoop（特にYARN）を理解するための環境構築をやってみようと思います。利用するのは、おなじみRaspberry Pi 2 Type Bです。 あと、Hadoopについては本当に一度も触ったことがない（本を少し読んだ程度の知識があるだ
本当にあった怖い話 「Hadoopで炎上しかけた話」
JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介＋失敗学と障害対応と私修治 松浦
Sparkのエンタープライズ対応が「成熟」――Clouderaが宣言
Sparkのエンタープライズ対応が「成熟」――Clouderaが宣言：800ノード超のSparkクラスターを運用するユーザーも HadoopディストリビューターもあらためてSparkへの注力をアピール。既に800ノード超のSparkクラスターを運用するユーザーも存在するという。 Hadoopディストリビューションを提供する米Cloudera（クラウデラ）は2015年11月30日（米国時間）、Apache Sparkへの対応が「成熟した」とのリリースを発表した。2015年11月19日に発表した「Cloudera Enterprise 5.5」および「Cloudera's Distribution including Apache Hadoop 5.5」ではSpark SQLとSpark MLlibへの対応を発表していたが、今回、あらためてSpark対応の「本気度」とHadoopプラットフォー
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） | gihyo.jp
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） 1月21日に開催された「Hadoop Conference Japan 2013 Winter」の基調講演では、先日、ついに1億ユーザを達成したメッセージングサービス「LINE」で利用されているHBaseの実態について、NHN JapanでLINEのストレージを担当する中村俊介氏が紹介を行いました。本稿ではその概要をレポートします。 NHN Japan 中村 俊介氏 最も重要視するのは「ストレージの高可用性」、HBaseはそのためにある FacebookやTwitterを抜くスピードで急成長を遂げるLINE。1月18日にはサービス提供開始からわずか19ヵ月で1億ユーザを達成し、大きな話題となりました。 急成長中のサービスを提供するために、その裏側で動くストレ
Apache Hadoop エコシステム を中心とした分散処理の今と未来
Copyright©2015 NTT corp. All Rights Reserved. Apache Hadoop エコシステム を中心とした分散処理の今と未来 小沢 健史 ozawa.tsuyoshi@lab.ntt.co.jp ozawa@apache.org 2 Copyright©2015 NTT corp. All Rights Reserved. • 処理基盤の意義 • MapReduce の動向と進化 • MapReduce の概要 • MapReduce の課題と解法 • 分散処理基盤の動向 • Google の処理基盤スタック • Microsoft の処理基盤スタック • オープンソースの処理基盤スタック • オープンソース開発 • なぜ会社として貢献するか • 活動内容 • 面白かったこと，大変なこと • これからの目標 アジェンダ 3 Copyright©201
HDFSが変わる？HDFSのイレイジャーコーディング対応
Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)、NFSv3への対応など、セキュリティの強化や利便性の向上なども進化しています。 このように進化を続けているHDFSですが、現在開発が進んでいる機能のひとつにイレージャーコーディングへの対応というものがあります。 HDFS-7285：Erasure Coding Support inside HDFS イレージャーコーディングとはソフトウェアエンジニアには耳慣れない言葉ですが、興味深かったのでまとめてみました。 HDFSの耐障害性 HDFSはスレーブノードであるデータノードでデータ（ブロック）の複製を行う（通常は3複製：設定可能）ことにより、ノードやディ
「Apache Hive 1.1」リリース、データ加工ツールの追加などが行われる | OSDN Magazine
Apache Hive開発チームは3月9日、Apache Hadoopベースのデータウェアハウス構築ソフトウェア「Apache Hive」の最新版「Apache Hive 1.1.0」をリリースした。プロジェクトのWebサイトより入手できる。 Apache Hiveは米FacebookがApache Software Foundation（ASF）に寄贈したデータウェアハウスソフトウェア。分散ストレージ環境にある大規模なデータセットのクエリや管理が可能で、SQLライクな言語「HiveQL」でデータクエリが可能。Map/Reduce開発車がカスタム構築したマッパーに組み込むこともできる。HBase、RCFileなども利用できる。 1.1は2015年2月に公開された初の正式版「Apache Hive 1.0」に続くもので、Hadoopは1系と2系に対応する。データの抽出や加工、ロード（ETL）
2014年版 Hadoopを10分で試す(3) まずはHiveから（前編）
Hadoop関連（全部俺） Advent Calendar 2014:11日目の記事です Cloudera Quickstart VMによりHadoopの環境が用意できました。HadoopのコアはHDFS（Hadoop分散ファイルシステム）とMapReduce（分散処理）ですが、今回はHadoopに関するところは無視して、まずは10分(ぐらい)で Hiveとはどんなものか、使いながら把握していきましょう。かなり大雑把なので、正確な情報は書籍やウェブでご確認下さい。 HDFSやMapReduceについては以前書いた記事などを参考にして下さい（めざせ！hadoopエンジニア（開発者編）、Hadoopを40分で理解する） Hiveとは です。愛くるしい（笑）。見れば見るほど愛着がわいてきます（笑）。なお、こんな非売品＆限定のHiveTシャツもあります。 SQLを知っている人は多い HiveはAp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
（日本語）Hadoopは失敗した、という分析
TechCrunch | Startup and Technology News
Hadoop関連（全部俺） Advent Calendar 2014 - Adventar
40分でわかるHadoop徹底入門 （Cloudera World Tokyo 2014 講演資料）
