Apache Bigtopによるオープンなビッグデータ処理基盤の構築 2021-8-28 B-1
資料：”https://www.slideshare.net/nttdata-tech/bigtop-hadoop-odc-2021-online-nttdata/" このビデオは ODC2021 Online 8-28 B-1 ”Apache Bigtopによるオープンなビッグデータ処理基盤の構築” 2021年8月28日(土) 10:00 〜 10:45 セッション概要 Apache Hadoopによる大規模データ処理では、ScalaやJava,Python,R,SQLといった言語で柔軟かつ高度なデータ処理を可能にするSparkや、Hadoopの分散ファイルシステム上で動く分散KVSに相当するHBase、データローダやジョブスケジューラなど、様々な周辺ミドルウェアを組み合わせて利用します。本講演では、これらのHadoopエコシステムと呼ばれる製品群のパッケージングを提供するApache
Apache Bigtopによるオープンなビッグデータ処理基盤の構築 - セミナープログラム - オープンデベロッパーズカンファレンス(ODC)2021 Online
Apache Bigtopによるオープンなビッグデータ処理基盤の構築 2021年8月28日(土) 10:00 〜 10:45 Apache Hadoopによる大規模データ処理では、ScalaやJava,Python,R,SQLといった言語で柔軟かつ高度なデータ処理を可能にするSparkや、Hadoopの分散ファイルシステム上で動く分散KVSに相当するHBase、データローダやジョブスケジューラなど、様々な周辺ミドルウェアを組み合わせて利用します。本講演では、これらのHadoopエコシステムと呼ばれる製品群のパッケージングを提供するApache Bigtopの取り組みについて、近日リリース予定の最新バージョンであるBigtop 3.0でのアップデートを含めてご紹介します。
Apache Bigtop最前線
NTTデータ テクノロジーカンファレンス 2020 講演 「Apache Bigtop最前線」 ▼講演者 NTTデータ 技術開発本部 テクニカルリード（並列分散処理技術） 関 堅吾 ▼講演概要 Hadoop や Spark を中心とするデータ基盤を構築・運用しようとすると、以下のような課題に直面します。 ・関連するソフトウェアが多数存在するため、すべてのソフトウェアが相互に運用可能なバージョンの組合せを特定するのが大変。 ・ダウンロードや適切なディレクトリへの配備、依存する別のソフトウェアのインストール等を、手動や自作のスクリプトで行うのではなく、OSが提供するパッケージマネージャで管理したい。 ・システムによっては数百台、数千台といった規模のサーバ群にソフトウェアをインストールする必要があるのに加え、要件に応じた適切な設定を施す必要がある。 ・クラスタ構築後、インストールや設定に問
Bigtop が提供するパッケージを使って Hadoop クラスタを構築する
本記事は, Distributed computing (Apache Spark, Hadoop, Kafka, …) Advent Calendar 2020 19日目の記事です。 この記事では, Apache Bigtop (以下 Bigtop) が提供する deb や rpm 形式のパッケージを使って、 Hadoop クラスタを構築する方法を紹介します。 想定する環境 1台のマスターノードと複数台のワーカーノードが存在し、全台に CentOS 7 がインストールされていること ノード間で相互に名前解決が可能になっていること 説明を単純にするため, iptables や firewalld は無効化されていること Bigtop リポジトリの追加 まず最初に、パッケージマネージャ (今回は CentOS 7 なので yum) の設定に、Bigtop のリポジトリを追加します。 Bigt
Apache Bigtop の概要と最新動向
本記事は, Distributed computing (Apache Spark, Hadoop, Kafka, …) Advent Calendar 2020 18日目の記事です。 この記事では, Apache Bigtop (以下 Bigtop) という OSS プロジェクトの概要と、 2020年12月時点の最新動向について紹介します。 Bigtop の概要と歴史 Bigtop は, Apache Hadoop エコシステムの環境構築やテストを容易にするための Apache Software Foundation 傘下のプロジェクトで、以下のような機能を提供します。 Hadoop や Spark などのビッグデータ関連 OSS を, deb や rpm 形式にビルドしたバイナリパッケージ。 パッケージのインストールとその後の環境設定 (以下、併せてデプロイと呼びます) を自動化するた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Bigtop3.2 (仮)（Open Source Conference 2022 Online/Hiroshima 発表資料）
Apache Bigtopによるオープンなビッグデータ処理基盤の構築（オープンデベロッパーズカンファレンス 2021 Online 発表資料）
Hadoop/Sparkを使うなら"Bigtop"を使い熟そう！ 〜並列分散処理基盤のいま、からBigtopの最近の取り組みまで一挙ご紹介〜 2021-11-20 B-1
Hadoop/Spark を使うなら Bigtop を使い熟そう！ ～並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介～（Open Source Conference 2021 Online/Fukuoka 発表資料）
BigtopでHadoopをビルドする 2021-3-5 B-1
Apache BigtopによるHadoopエコシステムのパッケージング（Open Source Conference 2021 Online/Osaka発表資料）
Bigtop の provisioner を使って仮想マシンやコンテナ上に Hadoop/Spark クラスタを構築する
Bigtop のスモークテストを使って Hadoop/Spark クラスタの動作確認を行う
Bigtop の Puppet マニフェストを使って Hadoop/Spark クラスタの構築を自動化する