Hadoop Streaming の Mapper と Reducer を初めて書いて感じたこと:お題目うぉっち
2010年02月02日 Hadoop Streaming の Mapper と Reducer を初めて書いて感じたこと O'reilly の Hadoop本を読んで、ますます Hadoop 熱が上昇中。ということで、社内でもともとDBで行っていて「重い、重い」と評判の分析処理を題材に、既存ロジックの Mapper、Reducerへの置き換えを体験してみた。 結局、6段階のMapReduceのチェーンに置き換えられたのだが、内容はさておくとして、既存の処理を mapper、reducer に置き換えていったときに感じたこと、印象深かったことを記しておくことにする（多分、思い違いや、もっといい方法があると思うが、初心者の過ちということで）。 ■ Streamingの場合、Mapper, Reducerへの入力は Key, Value ではない Javaのメソッドの説明を下手に読んで私がまず混
Spark 2.0 on EMR で Structured Streaming をやってみた
“Distributed computing (Apache Hadoop, Spark, …) Advent Calendar 2016” の 12/19 担当ということで、Spark 2.0 on EMR で Spark Streaming と Structured Streaming をやってみた結果を書きます。 この記事でやること この記事では Spark 2.0 で、現在アルファ版の Structured Streaming をやってみます。 Structured Streaming とは、Spark SQL エンジンで実現されたストリーム処理の仕組みです。 従来型の Spark Streaming は RDD を DStream とよばれる Spark Streaming 特有のモデルを導入して扱うのに対して、Structured Streaming では Spark SQL
【Iceberg 1.5新機能】viewの紹介 - 共通メタデータ形式とバージョン管理が実現する新たな可能性 - 流沙河鎮
はじめに Iceberg view概要 一般的なクエリエンジンにおけるviewの役割 Iceberg viewを使ってみる Iceberg viewのコンセプト メタデータ形式の共有 viewのバージョン管理 Iceberg viewの構成要素と仕組み View Metadata versionsフィールド representationsフィールド 「create_changelog_view」プロシージャによるIcebergのCDC create_changelog_view create_changelog_viewの使い方 引数 アウトプット create_changelog_viewの実行例 Tips Carry-over Rows Pre/Post Update Images ユースケースのアイデア おわりに Appendix: Viewサポートに関連するPR はじめに 2024
分散ストリーム処理フレームワーク「Apache Samza 1.0」リリース | OSDN Magazine
分散ストリーム処理フレームワーク「Apache Samza」開発チームは11月27日、「Apache Samza 1.0」を公開した。 Apache Samzaはストリーム処理向けの非同期処理フレームワーク。ScalaとJavaで実装されており、ほぼリアルタイムで処理を実行できる。Apache Kafkaなど複数のデータソースからデータを取得してリアルタイムで処理するようなステートフルアプリケーションを構築できる。 LinkeIn（米Microsoft）で開発がスタートし、その後Apache Software Foundation（ASF）に寄贈されて2014年にトップレベルプロジェクト（TLP）に昇格した。LinkedInでは異常検出、性能モニタリングなど3000以上のアプリケーションが運用環境でSamzaを利用しているという。 Apache Samza 1.0では分散処理フレームワーク
KafkaからのデータをStructured Streamingで処理してElasticsearchに流す - Qiita
今度はApache Kafkaからのストリームデータを取得してSparkのStructured Streamingで処理してElasticsearchに流すところを試してみる。 ES-HadoopをStructured Streamingと一緒に使う方法はここの ドキュメント に書いてある。 Sparkを使おうと思った時に、自分で環境を用意するのが大変なのと、作った後に必要な機能を使うための設定をしたり管理したりするのがつらいので、個人的にはAzure Databricksを使うのが今のところ一番楽だと思う。 この図を見るといろいろできそうな感じがわかる。そのうえでやることといえばクラスタを立ち上げてNotebookを開いてコードやクエリを書くくらいだから非常に楽である。 (https://docs.microsoft.com/ja-jp/azure/azure-databricks/wh
【インターンレポート】Spark streamingを用いたログ分析パイプラインの開発
2021年夏のインターンシップに参加した海野良介です。普段はゲーム環境での強化学習の利用についての研究を行なっています。今回のインターンシップでは、Data Platform室・Data Engineering3チームに所属しました。この記事では、インターン期間中に私が取り組んだ内容について紹介します。 背景・課題 現在Data Platform室では300PB以上のディスク容量、2000以上のデータノードからなる、大規模なHadoopクラスタを運用しています。これらのクラスタ上では、監査目的のためにHadoopクラスタ内での全てのアクティビティログ（Audit log）を記録しています。記録されたAudit Logに対しては1日単位でバッチ処理によるテーブル形式への変換が行われています。このテーブルはHadoopクラスタで問題が発生した際に原因分析などの手段として利用されます。しかし現状
Spark Streamingによるリアルタイムユーザ属性推定
Spark Meetup December 2015 http://connpass.com/event/23159/ 発表資料
Building A Relational Database Using Kafka
In a previous post, I showed how Kafka can be used as the persistent storage for an embedded key-value store, called KCache. Once you have a key-value store, it can be used as the basis for other models such as documents, graphs, and even SQL. For example, CockroachDB is a SQL layer built on top of the RocksDB key-value store and YugaByteDB is both a document and SQL layer built on top of RocksDB.
Prestoを使ってKafkaにクエリを投げる
Prestoを使えばKafkaに入っているメッセージにSQLでクエリが投げれるみたいなのでやってみました。 KafkaからHBaseやらNoSQLに入れ直すのはめんどうなのでPrestoを使ってみた感じです。 ちなみにPrestoは複数のデータソースに対して分散SQLクエリを発行するエンジンです。Kafkaは接続出来るデータソースの1つにすぎません。 環境CentOS7に全部まとめてインストールして動作を確認します。 CentOS 7Java 1.8Presto 0.180Kafka 0.11.0.0kafkaインストールまず、kafkaのインストールから。 root$ yum update -y root$ yum install java Kafkaのサポートバージョンはpresto 0.180のドキュメントを見るとKafkaは0.8.xでテストしていると書かれています。 Presto
Easy, scalable, fault tolerant stream processing with structured streaming - with Tathagata Das
Last year, in Apache Spark 2.0, Databricks introduced Structured Streaming, a new stream processing engine built on Spark SQL, which revolutionized how developers could write stream processing application. Structured Streaming enables users to express their computations the same way they would express a batch query on static data. Developers can express queries using powerful high-level APIs inclu
Building Reactive Fast Data & the Data Lake with Akka, Kafka, Spark
In this session, we will discuss: * reactive architecture tenets * distributed “fast data” streams * application and analytics focused Data Lake Enterprise level concerns and the importance of holistic governance, operational management, and a Metadata Lake will be conceptually investigated. The next level of detail will be to explore what a prospective architecture looks like at scale with Teraby
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
5. 4© Hitachi, Ltd. 2016. All rights reserved. Node Node Stage (インメモリ処理)Stage (インメモリ処理) Job HDFS 1-1. Sparkは並列分散処理フレームワーク • 複数ノードでクラスタを構成し、並列なデータ読み出し・変換/集約処理・書き込みを行う MapReduceと違い、処理の大半がインメモリで行われるため高速である 分散処理するデータをRDD (Resilient Distributed Dataset: 耐障害性分散データセット) と呼ぶ Task Partition Partition Task Partition Partition Task Partition Partition Task Partition Partition Task Partition Partition Task
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dataworks Summit 2017 SanJose StreamProcessing - Hadoop Source Code Reading #23 #hadoopreading
DMM.com - DMMのビッグデータ分析のご紹介 ～Sparkによるリアルタイムレコメンド～
Analyze Realtime Data from Amazon Kinesis Streams Using Zeppelin and Spark Streaming | Amazon Web Services