Hadoop の時代は終わってないけど、使いどころは限定されてきたかもしれない - ブログなんだよもん
id:shiumachi さんが書かれてる下記の記事がとても良かったです。 shiumachi.hatenablog.com 私自身もSparkを触る前は「Hadoop == MapReduce」と思ってましたが、どちらかというとYARNやHDFSがHadoopファミリの核だと最近は思いますし その意味でのHadoopは全然終わってないと思います。記事の中で書かれてる通り、ある意味ではさらなる進化を遂げて花開いてる状態かな、と。 ただ、Twitterにも少し書いたんですが一方で「猫も杓子もHadoop！」の時代が終わりつつあるのも事実かな、と思います。 もうちょっというとHadoopに限らず巨大スケールの分散システムの用途が収斂してきたのかな、と。 HadoopやGoogle MapReduce登場時のと違い、ストレージI/Oは133MB/sとかの単位で争ってたHDDからストレージに代わっ
~/.yarn-cache/ を CI でキャッシュしてはいけない - Qiita
2017/01/16 (月) 追記： CircleCI の公式ドキュメントに yarn の導入方法が明記されています。今後はそちらに合わせるのがベターです。 Install and Use Yarn (the NPM replacement) on CircleCI - CircleCI これまで行っていた設定だと、yarn のパッケージインストールのタイミングで「すでに yarn がインストール済み」とエラーが発生するようになってしまいました。よって以下は古い記事なので、読み飛ばしてください。 要約すると yarn 0.17.x から、キャッシュ保存先が OS によって変わる ようになった！ CI で ~/.yarn-cache/ をキャッシュする設定を入れている場合、正しいパスに変える必要がある ~/.cache/yarn/ (Linux の場合) 事の流れ 先週あたりから、npm に
Resource Manager HA の概要と動かし方 - Qiita
本文章には，2013年時点での内容が含まれています．2017年04月13日に typo の修正を行いましたが，内容に関しては更新を行っていませんのでご注意ください． この記事は，Hadoop Advent Calendar 2013 の 11日目の記事です．記事を書いている今現在，私は GMT で活動していますので，時間的にはセーフだと思います．また、TPO によらずHiveはかわいいです. 背景 YARN とは YARN は，Yet Another Resource Negotiator の略で， Hadoop v1 の JobTracker が行っていたリソース管理部分を MapReduce 以外にも利用しようと試みたものです．JobTracker は Map Slot/Reduce Slot という単位でリソース管理を行っていましたが，これをコンテナというより汎用的な単位でリソースを
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
MapReduceは今後どうなるのか？ - 急がば回れ、選ぶなら近道
2012年の現在、割と悩んでいるのでメモっておく。 年度末ぐらいに再調査の予定。・・なので暫定ですよ。 まず前提として、現行のHadoopの実行フレームワークであるMapReduceは、実行効率は決して良くはないです。この辺が割と辛い。 とはいえ、大規模並列処理を一般的に行うという観点での品質や取り回しを考えた場合、”結果として”非常にバランスがとれており、普及している。その上で、このMapReduceですが、今後の見通しについては、潮流は今のところ二つに割れているよう見える。ので、その辺のメモ。 ■YARN 一つの方向性は、現在のHadoop2.0系で実装されているMapReduce2.0、というか、MapReduceとは別の実行基盤を利用するという方向ですね。すなわちBSPや、MPIを利用する。要は、今までの並列処理の成果をそのまま利用しましょう、という流れに近い。 MapReduce
CDH4 Configurations with YARN, Capacity Scheduler and Hive | 外道父の匠
CDH4 Configurations with YARN, Capacity Scheduler and Hive 前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。 非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。 はじめに 言うまでもなく、参考・利用においては自己責任でお願いします ホスト名・ファイルパスは適当に変換してください descriptionの日本語は私のメモですので怪しかったらググってください 英文のみの場合はまだ未検証だったり説明するまでもないものになっています 2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます ファイルはUTF-8です Hadoop設定 CDH3からCDH4への設定変更リスト core 公式 core-def
Apache Hadoop YARN – Background and an Overview - Cloudera Blog
This blog post was published on Hortonworks.com before the merger with Cloudera. Some links, resources, or references may no longer be accurate. Apache Hadoop YARN – Background & Overview Celebrating the significant milestone that was Apache Hadoop YARN being promoted to a full-fledged sub-project of Apache Hadoop in the ASF we present the first blog in a multi-part series on Apache Hadoop YARN –
YARN＋Capacity Schedulerの基礎知識 | 外道父の匠
CDH4でのYARN＋Capacity Schedulerに触れたので記しておきます。 まずは基礎知識のためのリンクとか単語とか。 リンク集 YARNについて MapReduce 2.0 in Hadoop 0.23 | Apache Hadoop for the Enterprise | Cloudera Hadoop Map Reduce Next Generation-0.23.1 – Cluster Setup yarn-default.xml mapred-default.xml YARNでは mapred.*** や mapreduce.*** の設定は使わないものも多くなりましたが、まだ大半は重要なままです。そしてなぜかmapred-default.xmlには yarn.*** の設定も書いてあるので見落とさないようにしましょう
CDH4+YARN+Hiveでハマってる - たごもりすメモ
検証用として新規にセットアップしたCDH4クラスタ、YARN使用で設定してみたんだけど以下のような状態。完全分散モード。 CDH4はtarballを展開する形でインストール HADOOP_MAPRED_HOMEは hadoop/share/hadoop/mapreduce を指定 YARNで hadoop-mapreduce-example.jar は走る ResourceManagerと同ホストから以下のコマンドを実行したら成功する hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1-cdh4.0.0b2.jar pi 4 1000 HiveでMapReduceを介さない処理は成功する 具体的にはSHOW TABLESやCREATE TABLEおよびLOADなど Hive
Hadoop0.23 YARNメモ(Hishidama's Hadoop0.23 YARN Memo)
概要 YARNは、Hadoop0.23におけるジョブ実行フレームワークの名前。 0.23より前のHadoopはMapReduceというアルゴリズム（に基づくフレームワーク）だったので、次世代MapReduceという意味でMapReduce2.0（MRv2）とも呼ばれているが、実際はもうMapReduceではないので、別の名前が付けられたのだろう。 YARNでは、以下のような手順でアプリケーションを実行する。 （ResourceManager（RM）とかApplicationMaster（App Mstr・AM）とかの関係については、YARN Architectureを参照） ClientがResourceManagerに対してプログラム（ApplicationMaster）の実行を依頼（submit）する。 ResourceManagerは、どこかのノードでApplicationMaste
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Treasure Data on The YARN - Hadoop Conference Japan 2014
Taming YARN @ Hadoop Conference Japan 2014
【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）