[DISCUSSION] YARN タグの使用について - Qiita
(2016/10/14 16:09 追記) 現在 yarnpkg の githubにて "nyarn"への名称変更の提案がなされています。こちらも参照してください https://github.com/yarnpkg/yarn/issues/673#issuecomment-253718435 (2016/10/17 13:04 追記) 上記提案に対し、 yarn コマンドの名前は変更せず yarn コマンドへのエイリアス yarnpkg を作成するとのコメントがあり、それをもって issue はクローズとなりました。 https://github.com/yarnpkg/yarn/issues/673#issuecomment-254004512 おことわり 本記事の目的とリスクに関するDISCLAIMER 本記事はディスカッションを目的としているものであり、技術情報の提供を目的としてい
![[DISCUSSION] YARN タグの使用について - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e1c8be5e95fca236e682e29a62c308b80cfb007a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCRElTQ1VTU0lPTiU1RCUyMFlBUk4lMjAlRTMlODIlQkYlRTMlODIlQjAlRTMlODElQUUlRTQlQkQlQkYlRTclOTQlQTglRTMlODElQUIlRTMlODElQTQlRTMlODElODQlRTMlODElQTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTRkMzU5ZTE3NjUzYWNlZTAzYThkNWI3ZTgyMTAyN2Rm%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc2hpdW1hY2hpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00Njg3MmM1ODg1OTUxOTljZDhiMTQ4ZDNmOWY1ZTE5Yw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc67f829fb66f3e2aa9e465de3a8937aa)
Hadoopクラスタ構築 AccessControlException: Permission denied - [WIP] karahiyoの日記
Hadoopクラスタ構築でつまったこととして 1. hadoop.tmp.dirの権限がおかしいといわれたケース 2. MapReduceジョブ実行時にAccessControlException: Permission deniedエラーのケース の2件についてのメモ ! 1. hadoop.tmp.dirの権限がおかしいといわれたケース $ hadoop jar hadoop-examples.jar pi 4 100 Error creating temp dir in hadoop.tmp.dir /hadoop due to 許可がありません 対処法 hadoop.tmp.dirの権限を修正します chmod 777 /hadoop! 2. MapReduceジョブ実行時にAccessControlException: Permission deniedエラーのケース $ had
![Hadoopクラスタ構築 AccessControlException: Permission denied - [WIP] karahiyoの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/6470e43d1d2e7748f92e0d0f8d8a96fc07f7e838/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704591929891382512%2F11696248318753493192%2F1467733053)
Hadoopソースコードリーディング 第16回に参加してきました | DevelopersIO
Hadoopソースコードリーディング 第16回に参加してきました。今回は1.0がリリースされる目前のApache Sparkがテーマでした。 NTTデータ濱野さんの冒頭の挨拶 Spark1.0リリースを記念する予定が、されていないｗ 今回はお酒を飲んでグダグダする時間はないｗ Apache Sparkのご紹介（前半） NTTデータ土橋さん まずは土橋さんからSparkの背景やSpark Summit 2013の振り返り、Sparkの基本についての説明がありました。詳細はスライドを見てもらった方がいいですが、さくっと雰囲気を掴みたい方は以下のメモをご参照下さい。 土橋さん 6年前からHadoopに関わっている。 基本はインフラエンジニア Ansible使っている。 アジェンダ Sparkの背景 Spark Summit 2013振り返り Sparkのキホン RDD スケジューラ 前提 机上調
Hadoopの基本機能とエコシステム PART 2 | IT Leaders
2012/03/06 08:00 構成や動作の原理は意外とシンプル 難解さを解きほぐし、全体像を把握する Hadoopは構成や動作原理はシンプルなうえ、数多くの技術情報も公開されている。 国内でも一部のネット系サービス事業者が本格活用によって成果を上げ始めている。 Hadoopはどのように動作するのか、企業利用時にどういった周辺技術が有用なのか。 基本機能とそれを支える技術のエコシステムからHadoopの全体像を概説する。栗原 雅 （編集部） 監修：野 賢 一朗 氏 NTTデータ 基盤システム事業本部 システム基盤サービスビジネスユニット OSSプロフェッショナルサービス シニアエキスパート 米国では多種多様なデータをまとめて蓄え、大容量のデータを対象に抽出や集計の処理を実行する仕組みとしてごく身近な存在になりつつあるHadoopだが、国内ではまだそこまで浸透していない。Hadoopそのも
会場の後ろでマサカリを振り回しているエバンジェリストがいた「 HDFS HA セミナー」に行ってきました - #garagekidztweetz
ツイート今日は、Hadoopを高可用化「HDFS HAセミナー」のご案内 on Zusaar に参加してきました。と、いうわけでいつものとおりブログを書いておこうと思います。マサカリを振り回しているエバンジェリストがいたｗ勉強会でしたが、個人的には CDH4 の運用経験がなかったので大変勉強になった会でした。 アジェンダは以下のとおりで、 【アジェンダ】 18:15 受付開始 18:30 開会・ご挨拶 18:35「HDFSのHAアークテクチャー」 Cloudera株式会社 カスタマーオペレーションズエンジニア 小林大輔氏 19:45「NameNodeHAの導入背景と運用状況」株式会社サイバーエージェント CAMP事業部 システムグループ 上原 誠氏 20:15 Q&A 20:30 閉会 では、まず所感から 個人的にはもともと CDH3 なユーザだとしたら CDH4 にしなければならない要件
「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道
個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との
とあるオープンソースの分散処理基盤 -Hadoop（ハドゥープ）- | ADN LAB's Blog
Introduction – Hadoopとは? こんにちは、k_oomoriです。今回は、オープンソースミドルウェアのApache Hadoopを取り上げたいと思います。 コンピュータの性能は日々進化しているとはいえ、1台のマシンの性能にはおのずと限界があります。また、その時々で常に最高性能のマシンを維持していこうとすると莫大なコストがかかってしまいます。そこで登場するのが分散処理という考え方です。1台1台は特に高性能ではないマシンでも多数並べて処理を同時並行で行うことにより、全体の処理性能を上げようというアプローチです。この方法では性能が足りなくなった場合にはマシンを追加することで容易に性能向上ができる反面、分散処理の実装そのものが難しいという問題がありました。例えば、処理の振り分けアルゴリズムやサーバの死活監視、結果の集約など、考えなければならないことがいくつもあります。この分散処理
hadoopアドベントカレンダー2011 11日目 Hadoopのスレーブノードでのメモリ割当 - wyukawa's diary
クレジットカード現金化詐欺【業界人が教える口コミ情報】の12/11を担当するwyukawaです。 ネタもつきてきたので他人のふんどしで行きますw 今日はHadoopのスレーブノードでのメモリ割当について書きます。象本でいうと9章に書いてある話になります。 元ネタは下記にある以前Hadoopのトラブルシューティングに関する資料があったのでめもっとく - wyukawa’s blogで紹介した資料の日本語版です。 Hadoop Troubleshooting 101 - Japanese Version View more presentations from Cloudera, Inc. この資料はHadoopソースコードリーディング 第7回 Tickets, Mon, Nov 28, 2011 at 7:00 PM | Eventbriteでも発表されました。 この資料の中でHadoopの
How does LinkedIn's recommendation system work?
Answer (1 of 10): Hey Guys, If you are interested in applying your talent & data science skills to a hackathon based on recommendation design, participate in **McKinsey Analytics Online Hackathon- Recommendation Design**, starts 10th March. Registrations are open here: McKinsey Analytics Online H...
GlusterFS 3.3-beta1 -> 3.3-beta2 への更新（失敗）とHadoop対応させようとした（失敗）時の備忘録
GlusterFS を現状のbeta3.3-1からbeta3.3-2へアップグレードしたが、色んな所でハマってしまった。また、HadoopのInputFormatへ対応させようとしたが、これもうまくいかなかった。結局アップグレードはせずに元に戻したが、今後再チャレンジするときのための備忘録 1 .GlusterFS 3.3-beta2 ※ 3.3-beta2 でHadoopのInputFormatに対応するようになった。Hadoop - GlusterFS Resource Page 『GlusterFS』、最新版は『Apache Hadoop』にも対応 - japan.internet.com beta1とbeta2のDLリンク： 3.3-beta2 3.2-beta1 元々glusterfsのvolume上のmountした上のファイルのパスに対しては# getfattr -m . -n
Hadoop が起動する Live-USBを作成する -- Master Node 分散環境 編 - Guutaraの日記
USBで、ブートするだけで、Hadoopの分散環境がテストできる Live-USBを作成してみます。 今回は、マスターノードとなるUSBの基礎の部分に、Hadoop（CDH3）を インストールし分散環境の設定で、Live-USBを動かします。 Serverで、USBを使う場合ですが、接続後に、 dmesg | tail すればデバイス名（sdb1など）が、わかるのでマウントします。 作成に使用する環境など Mac OSX 10.6 のMacBook上に、VMWare Fusionを入れて作業します。 Hadoop が起動する Live-USBを作成する -- Master Node 疑似分散 編 - Guutaraの日記 で、作成したVM環境で作業します。 Hadoopの設定 構成ですが、スレーブを１０ノードまで登録しておきます。 まずは、confを変更します。 分散環境のconfは、co
大規模なデータセットを効率的に扱うための Pig 超入門 - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年07月07日22:38 Hadoop 大規模なデータセットを効率的に扱うための Pig 超入門 Pig あるじゃないですか。Hadoop のラッパーで、DSL で書けるというアレです。 最近は Twitter や Yahoo! などで使われているらしき Pig。Hadoop を扱う場合、mapper と reducer をそれぞれ記述する必要がありますが、この Pig を使うと DSL を書くだけで内部的に処理を mapper, reducer として実行してくれます。その結果、記述量が減って開発時間が短縮できるというメリットがあります。アイコンがもう少し可愛ければ、、と思うと残念でなりません。なんだこのドヤ顔は・・ 今まで「良さそうだなー」と思いつつ触れていなかったのですが、今回触ってみる機会があったので軽くまとめておきます。※Pig を動かす環境については出来ている前提です。
グーグル発「Hadoop」、日本企業も利用へ
Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
1台でHBase, Hive, Pig, HUE(旧Cloudera Desktop)を試してみる(CentOS + Cloudera)
必要なもの ・Linux(CentOS)+Cloudera版Hadoop環境CDH3(1台) → 構築方法はこちら ・インターネット接続 ・Cloudera社のHBase,Hive,Pig,HUEのパッケージ(yumでインターネットからインストール) 作業手順 以下の、1. HBase, 2. Pig, 3. Hive, 4. HUE(旧Cloudera Desktop)の手順は、独立して試すことができますし、一つの環境でまとめて試すこともできます。(それぞれデータの管理は別々です。) ここでは、Cloudera社のCDH3リポジトリが必要ですので、既に設定されていないか確認します。 ls /etc/yum.repos.d/ で、cloudera-cdh3.repoが存在すれば、OKのはずです。無い場合は、CDHのhadoopのインストール方法を確認してください。 1. HBase CDH
1台構成のHadoopを30分で試してみる(CentOS + Cloudera)
(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・CentOS5かCentOS6のLinux環境1台(ここではCentOS5.6とCentOS6.0を使いました。CentOSの他バージョンや、Fedora、Redhat等でも大丈夫だと思います) ・インターネット接続 ・Sun社Javaパッケージ(パッケージファイルをインターネットから取得) ・Cloudera社のCDH3のHadoopパッケージ(yumでインターネットからインストール) 作業手順 0. 準備 0-1. Sun社Javaパッケージの取得 http://java.sun.com/javase/downloads/にて、 Java SE 6の[Download]ボタンを押して出る「Java SE Downloads」のページから必要なもの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://infra-engineer.com/hadoop/hadoop%E8%B1%A1%E6%9C%AC%E7%AC%AC2%E7%89%88-3%E7%AB%A0-%E3%80%8Chadoop%E5%88%86%E6%95%A3%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%80%8D%E3%81%AE%E3%81%BE%E3%81%A8/
Hadoopのチューニングポイント
Hadoop World 2011: Hadoop Troubleshooting 101 - Kate Ting - Cloudera
%2Bin%2BPseudo-Distributed%2BMode)
Cloudera Product Documentation