KafkaとSpark Streamingの統合について｜Engineers' Blog｜SBクラウド株式会社 - SBクラウド株式会社
こんにちは Kouです。 Webアクセス解析や、ログのリアルタイムモニタリングと不正検知、ソーシャルメディア分析などの時に、オープンソースの分散ストリーミングプラットフォームと呼ばれるApache KafkaとSparkにストリームデータを処理するSpark Streamingを組み合わせたストリームデータ処理システムはよく利用されると考えられます。今回の記事はTwitterのメッセージ分析を例として、Alibaba CloudのE-MapReduce上で、KafkaとSpark Streamingの統合方法について、皆さんにご紹介させて頂きたいと思います。 検証環境について Spark Streaming EMR-3.20.0 クラスタータイプは Hadoop ハードウェア構成(Header)はecs.sn2.largeを1台 ハードウェア構成(Worker)はecs.sn2.large
Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ
第22回［最終回］ まとめと本連載で解説できなかったこと | gihyo.jp
連載を終えて 本連載では、これまで21回に渡り、HadoopやSparkなどのソフトウェアを並列データ処理系と称して、前半においてはおもに当該処理系のアーキテクチャやデータ処理方法の原理を説明し、後半においては当該処理系の実装における技術的特徴を概観してきました。 前半では、いくつかの教科書や古い文献をベースに説明をしましたが、近年の発展が著しいと考えられている並列データ処理系においても、過去に深く研究された技術の組み合わせや応用である場合が多いことを感じていただけたかと思います。技術全般において言えることですが、最先端の技術を理解するには、基礎を丁寧に押さえることが最も重要だと思います。多くの参考文献を載せましたので、このような技術に興味がある方や今回を機に興味をもった方は、さらに理解を深めていっていただけると幸いです。 また、後半においては、近年の並列データ処理系が、過去の技術を基礎と
『Prestoとは何か，Prestoで何ができるか』 - Arm Treasure Data
トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 Hadoop Conference Japan 2014 以前に告知したHadoop Conference Japan 2014で，弊社Software Architectの古橋が発表しました。 テーマは，Facebookが公開した新しい分散処理基盤，Presto。実はFacebookが彼らの超大規模なデータセットに対してインタラクティブに結果を返せるようにと開発されたものです。開発が始まってまだ2年も経っておりませんが，今ではトレジャーデータを初めとして多くのハッカー達がコミッターとして参加する活発的なプロジェクトに成長しています。 PrestoはHiveやImpalaと同じ「SQL Query Engine」であり，特に数百GBを超える大規模データに対してもインタラクティブなレスポンスを（コンマ0秒以下，遅くて
HadoopからDocker、そしてKubernetesの登場 分散システムの歴史を紐解く - ログミーTech
2006年、Hadoop黎明期とその衝撃 ここからはちょっと歴史の話です。タイムラインとしてはおおむねこんな感じです。 2003年から2018年、つまり今日までの話をしていきます。 主に分散システムのオープンソフトウェアとしての開発初期、黎明期から普及期の話。タイムラインとしてはそのあと、コンテナ化されたインフラストラクチャーの話に流れていきます。 まずHadoopの黎明期、これは明確に2006年なんですけれど、走りとしては、2003年と2004年にGoogleから大きな2つの論文がで出てきます。 1つはThe Google File Systemという、Googleの中で使われているGFSと呼ばれる分散ファイルシステム、分散ストレージの論文。もうひとつはその翌年に出てきたMapReduceで、どうやってGoogleの中で巨大なデータを処理するかというのかという論文。 2つ目がたしか、Je
JupyterからSpark clusterを操作できるlivy + sparkmagicを試してみた - once upon a time,
Spark Summit 2016でもトークがあったSparkのREST serverであるlivyですが、MicrosoftがHDInsight上のSpark clusterとJupyterをlivyを使って繋げられるようにしたと聞いて、早速試してみました。 Jupyterって何？という方は簡単に言うと、ブラウザで各種言語のREPLが動くものと思ってもらえばいいです。 詳細は過去に書いた以下の記事を読んでみてください。 techlife.cookpad.com livyとは livyはSpark clusterをコントロールするためのREST Serverです。 Microsoftはこれとjupyter notebookのsparkmagicを使ってHDInsightとjupyterをつなげるようにしているそうです。 MSの取り組みはSpark Summit 2016のトークがわかりやす
Distributed computing (Apache Hadoop, Spark, Kafka, ...)のカレンダー | Advent Calendar 2017 - Qiita
The Qiita Advent Calendar 2017 is supported by the following companies, organizations, and services.
Windows上にApache Spark環境を作ってみた - Qiita
はじめに Apache Spark勉強用に、Windows上にSpark環境作ってアプリケーション(とりあえずScala)を作成/コンパイル/実行する、という所までやってみます。 色々眺めていると開発環境としてはIntelliJ, Eclipseあたりが主流なようです。あとはJupyter Notebook？ 合わせてビルドツールとしてsbt, mavenなどが使われたりするようです。が、素人には初モノの要素が盛りだくさんすぎてアワアワしはじめたので、最低限sbtだけ使ってまずは動かす所までの手順を整理しておきます。 環境構築 Apache Sparkのインストール この辺の記事を参考にSparkをインストールします。 Sparkアプリケーションの基本と、はじめに押さえておきたい重要な概念 まずはApacheのサイトからダウンロード。 https://spark.apache.org/do
分散処理に入門してみた（Hadoop + Spark） | Casley Deep Innovations株式会社 技術ブログ
こんにちは。SI部の腰塚です。 RDBやデータウェアハウスの仕事に携わることが多かった筆者は、数年前からたびたび聞こえたビッグデータ分析や機械学習のための分散処理フレームワークに興味を覚えたものの、ついぞアクセスしないままここまで来てしまいました。 今回ブログを書くにあたって、せっかくなのでイチから手さぐり入門し、いまさら他人に聞けない分散処理の初歩からhadoop・sparkを触ってみるまでをまとめたいと思います。 1.分散処理の基礎知識 1-1.分散処理の処理方式：MapReduce まず分散処理とは、ひとつの計算処理をネットワークで接続した複数のコンピュータで同時並列で処理することです。 ビッグデータ活用の市場が日々大きくなるに従って、数百テラ～ペタのデータ処理も珍しいものではなくなっており、日常的にこの規模のデータを扱うシステムでは、現実的な時間的・費用的コストで処理する工夫が必要
はじめてのSpark SQL！Amazon EMRを使って10分で試してみる | DevelopersIO
はじめに Spark SQLに触ってみたので手順などをまとめました。Spark SQLというのは Apache Hiveのようにクエリ実行することで分散処理ができるものです。Hiveとの違いはインメモリであるために高速に処理できることとクエリ言語にSQLが使えることです。10分位で試せると思いますのでSparkやEMRに触ったことがない方はぜひやってみてください。 1.EC2のキーペアを用意する EC2インスタンスにSSHで接続するのでキーペアがない場合は作成する必要があります。以下のAWSのサイトを見て作ってください。 キーペアがすでにある方はスキップしてもらって結構です。 Amazon EC2 のキーペア - Amazon Elastic Compute Cloud 2.サンプルのファイルを用意する 今回は私が趣味でやっているポケモンGOで捕まえたポケモンの名前、CP、タイプ情報が入っ
Apache Sparkメモ(Hishidama's Apache Spark Memo)
概要 [/2017-01-14] Hadoopとの比較 [/2014-09-12] サンプル [/2017-01-22] インストール 開発環境の構築 [2017-01-22] インストール [/2017-01-14] Sparkシェル [/2014-09-19] 実行方法 [/2017-01-18] API（RDD系） SparkContext [/2014-09-15] RDD [/2017-07-26] パーティション [2014-09-07] Kryo（シリアライズ） [/2015-01-15] Spark SQL [/2014-09-02] Hive操作 [2014-09-01] Streaming [2014-09-02] API（Dataset系） SparkSession [2017-01-14] Dataset [/2020-10-08] Encoder [2017-01
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
Apache Spark で分散処理入門 - Qiita
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモ メモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscala、pythonの方がすっきりかけている気がじます。 これからも随時編集していきます Apache Spark とは 上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin
ユースケースで徹底検証！ HBaseでIoT時代のビッグデータ管理機能を試す
Copyright © 2004-2023 Impress Corporation. An Impress Group Company. All rights reserved.
2016年のHadoop活用事例紹介 | Hadoop Advent Calendar 2016 #24 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 24日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHueについて書かせていただきました。 今回は2016年にHadoop系のカンファレンスでの発表タイトルなどから、主に国内での実際の活用事例を紹介したいと思います。 Hadoopは「概要やどんなことができるかはある程度わかったけど、それをどう活用していいかイメージがつかない」という話もよく聞く領域なので、ご参考にしていただければと思います。 紹介 リクルート まずはリクルートさんの事例になります。Hadoop活用に関する発表は以前から頻繁に行っている会社です。 貼らせていただいた資料はHad
Sparkの構成 | Hadoop Advent Calendar 2016 #14 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 14日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHadoop上で利用かのなカラムナストレージの紹介をさせていただきました 今回はApache Sparkとはどういったものなのかについて解説したいと思います。 Sparkとは よく「Hadoop/Spark」などのようにHadoopと同じ並びで名前が上がることが多いSparkですが、果たしてSparkとは何者なのでしょうか？Hadoopとどのように違うのでしょうか？ ということを今回は解説していければと思います。 Hadoopの技術スタックについてのおさらい まずはHadoopの技術スタック
Hadoop Streamingジョブの処理結果を圧縮する | DevelopersIO
今回はHadoop Streamingジョブの処理結果を圧縮する方法について紹介します。以前紹介した以下のエントリーに対してEMRで利用可能な圧縮方式を試しています。 grepコマンドをHadoop Streaming上で実行する 結論 先に結論を書いておきます。EMRで利用可能な圧縮形式の一覧は以下でした。 DEFLATE（zlib） gzip bzip2 LZO LZ4 Snappy また、Hadoop Streamingジョブの処理結果を圧縮する際は以下の2つのオプションを利用します。 mapreduce.output.fileoutputformat.compress mapreduce.output.fileoutputformat.compress.codec mapreduce.output.fileoutputformat.compressオプションにtrueを指定すると圧
AWS EMRでPrestoを動かしてshibからクエリ流してみる
Spark, SQL on Hadoop etc. Advent Calendar 2014の最終日です。 書くこと AWS EMR/S3 + Hive + Presto + Hue + Shibの環境を構築し、簡単にトライアルしてみる。 Prestoについて Facebookがオープンソースで開発しているMPP(Massively Parallel Processing)クエリエンジン。 本家: Presto - Distributed SQL Query Engine for Big Data TDさんのわかりやすい解説: 『Prestoとは何か，Prestoで何ができるか』 同じ系統のクエリエンジン括りだとImpalaやApache DrillがOSSとして開発されている。MPPクエリエンジン/データベースの大まかな流れや種類、それぞれの使いドコロについてははコチラの記事が最高にまと
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
Hadoop Advent Calendar 2016 の記事一覧 | DevelopersIO
Hadoop Advent Calendar 2016 の記事一覧です
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
