Apache Sentryで始めるアクセス制御 (Hive編)
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers.Twitter / Photos Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Twitter / Photos この投稿はSpark, SQL on Hadoop etc. Advent Calendar 2014の5日目の記事です。 Apache Sentry(以下Sentry)を使えば、HiveやImpala、Cloudera Search(SolrCloud
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイバーエージェント 成尾 文秀
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイバーエージェント 成尾 文秀
![[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイバーエージェント 成尾 文秀](https://cdn-ak-scissors.b.st-hatena.com/image/square/6b8984e6962fe144e222d0696bde3fc99da1a0f2/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F6i9kohhirrcoablwy2vg-signature-de1723da869232faf642797bf4411177191c3ef937923c1c3c4b18848e6dd30c-poli-160721053413-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Tuning YARN | 6.3.x | Cloudera Documentation
This overview provides an abstract description of a YARN cluster and the goals of YARN tuning. A YARN cluster is composed of host machines. Hosts provide memory and CPU resources. A vcore, or virtual core, is a usage share of a host CPU. Tuning YARN consists primarily of optimally defining containers on your worker hosts. You can think of a container as a rectangular graph consisting of memory and
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
Spark shark
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC EnterpriseYusukeKuramata
2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium
2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン2013年には、ディストリビューションのアップグレードを5回ほど行いました。 CDH3u0CDH3u1CDH4.1.2CDH4.2.0CDH4.2.1メジャーアップグレードは複数バージョンを同時に走らせて問題が無いことを確認後、切り替えを行っています。しかしCDH3って既にEnd of Maintenanceなんですね、知らなかった。 運用体制約3名、年末には約8名程。約100社に向けてサービス運用をしていて、数分ジョブが刺さるだけでもサポートチ
20130626 kawasaki.rb NKT77
2013年6月26日にKawasaki.rbで報告した内容です。 Rubyで大きなサイズの辞書を作成するとハッシュの挿入・参照の時間が極端に大きくなる事例についてご紹介しています。 http://kawasakirb.doorkeeper.jp/events/4115 当日は専門家の方の議論を聞くことができ勉強になりました。Read less
How to convert non-HA NameNode to QJM HA on CDH4 | 外道父の匠
CDH3から始めてCDH4.1までアップグレードして利用し続けていますが、この過程でNameNodeの構成は変更せずに運用してきました。 当然、CDH4からの公式HA構成に関心はあったのですが、複数の更新を同時に行うと危ないとか、英語マニュアル読むのめんどくせー感からミドルレンジに距離を置いていたところに、もりす先生がトライしてくれて、乗るしかないビッグウェーブ到来。待つべきものは他人の検証とはよく言ったものですなぁ。 タイトルはNameNode構成の切り替え、となっていますが、これから新しくQJM HAで組む人にも役に立つ内容となっていますゆえ、私が血反吐を吐いてまとめた情報を是非ご覧くださいませ。 リンク CDH4.1におけるクォーラムベースジャーナリング Quorum-Journal Design CDH4.1オーバービュー Software Configuration for Qu
「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道
個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との
GitHub - recruitcojp/WebHive: ブラウザよりHiveQLを実行できるWEBアプリケーション
CakePHP is a rapid development framework for PHP which uses commonly known design patterns like Active Record, Association Data Mapping, Front Controller and MVC. Our primary goal is to provide a structured framework that enables PHP users at all levels to rapidly develop robust web applications, without any loss to flexibility. The Cake Software Foundation - promoting development related to CakeP
The dark side of Hadoop | gihyo.jp
ツイートやブログコメントの解析プラットフォーム企業である「BackType」の技術ブログ記事です。BackTypeでは30TBものソーシャルデータをHadoopで処理しています。また、Hadoopを利用したプロダクトをいくつか開発しオープンソースにして公開しており、Hadoopをヘビーに活用している企業の一つと言えるでしょう。しかし、深く利用しているがゆえに不満点も多いようで、Hadoopに関する問題点のいくつかを挙げています。 まず、非常に重要な設定について、何もドキュメント化されていないことを指摘しています。具体的には、HFDSのDataNodeへの上限接続数を表す設定項目「dfs.datanode.max.xcievers」について、デフォルト値が256と非常に低く設定されているため、すぐにエラーが発生しています。しかし、公式ドキュメントには、いったい何の設定を表すのかや、どのような
品川海苔は伊豆の磯餅» Blog Archive » Hadoopセットアップ-その3(完全分散モード)
いやーかなり間が空いてしまいました… 重い腰をあげて3台(仮想環境に)セットアップしました！ 3台にhadoopをセットアップする ひとまず、前々回の記事の通り、hadoopをrpmからインストールしました。 ホスト名はそれぞれ、hadoop1、hadoop2、hadoop3です。(そのまんま…) しばらく見ないうちにhadoop1.0.3が出てましたね。 今回私がインストールしたのは hadoop-1.0.3-1.x86_64.rpmになります。 とりあえずスタンドアロンモードで動作確認 インストールしたhadoopをスタンドアロンモードで動くか確認します。 状態としては前々回の記事で設定する内容は全て設定してあります。 それではhadoop1にて実行します。 # hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar word
Hadoopクラスタでulimitを設定するときの注意点 - たごもりすメモ
Hadoopクラスタを運用する際に ulimit で nofile (プロセスがopenできるファイルディスクリプタ数の上限)の設定を変更しておくべき*1というのはもはや常識的なお話ですが、そこには実は罠がある。たぶんRHELのデフォルト通りならハマらないんだろうけど、手を入れている環境だとハマる。ので、その話。 要するにハマった。のを解決したよ多分！ まだ最終的な確認できてないけど！ 各書籍での解説 とりあえず、国内で売られているHadoop関連書籍の記述を確認しておこう。まずHadoop徹底入門。 ファイディスクリプタの設定は、/etc/security/limits.conf に記述します。エディタを利用して、limits.conf に以下のように記述します。ここでは、Hadoopの各種ノードを起動するユーザーを hadoop とします[12]。 hadoop soft nofile
Hadoop error logs: org.apache.hadoop.hdfs.server.datanode.BlockAlreadyExistsException
Hadoop error logs: org.apache.hadoop.hdfs.server.datanode.BlockAlreadyExistsException 2010-06-06 23:28:04,195 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.13.53.128:50010, storageID=DS-1219700830-127.0.0.1-50010-1266876153854, infoPort=50075, ipcPort=50020):DataXceiver org.apache.hadoop.hdfs.server.datanode.BlockAlreadyExistsException: Block blk_-76478369313042311
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.linkedin.com/pulse/various-file-formats-supported-hadoop-yogesh-kansal
Apache Spark™ - Unified Engine for large-scale data analytics
GitHub - myui/hivemall: Scalable machine learning library for Apache Hive/Spark/Pig
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
Apache whirrの設定系について : へっぽこ技術者備忘録
BOOT_COMPLETEDが受信出来ない - Google グループ