Magnet: A scalable and performant shuffle architecture for Apache Spark
Open Source Magnet: A scalable and performant shuffle architecture for Apache Spark Co-authors: Min Shen, Chandni Singh, Ye Zhou, and Sunitha Beeram At LinkedIn, we rely heavily on offline data analytics for data-driven decision making. Over the years, Apache Spark has become the primary compute engine at LinkedIn to satisfy such data needs. With its unique features, Spark empowers many business-c
Apache Spark Shuffle Service — there are more than one options!!
The purpose of this blog is to provide a list of Shuffle Service Implementations in Apache Spark and motivation for their design choices. This blog will also cover the high level understanding of Spark Shuffle service. Credit Note: All Credit goes to actual blogs and you tube videos published already for each Shuffle service implementation and the relevant links have been added in each section of
Open-sourcing Polynote: an IDE-inspired polyglot notebook
We are pleased to announce the open-source launch of Polynote: a new, polyglot notebook with first-class Scala support, Apache Spark integration, multi-language interoperability including Scala, Python, and SQL, as-you-type autocomplete, and more. Polynote provides data scientists and machine learning researchers with a notebook environment that allows them the freedom to seamlessly integrate our
INTEL コード & ダウンロード
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Alder Lake Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門
![DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization](https://cdn-ak-scissors.b.st-hatena.com/image/square/5830e9bd1528e0b5b3cc1c7cb724443bde1a7aa3/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fc5227af8d6f34ee7950c97ea585c9a24%2Fslide_0.jpg%3F11565473)
Hadoop, Sparkその他分散処理フレームワークの2018年を占う | gihyo.jp
あけましておめでとうございます。 例年、Apache HadoopやApache Sparkを中心に並列分散処理ミドルウェアの動向や展望についてご紹介しています。 今年は NTTデータに所属する 岩崎正剛（Hadoopコミッタ）、猿田浩輔（Sparkコミッタ）、鯵坂明（Hadoopコミッタ/PMC）の3名でディスカッションした内容を元にお伝えします。 ディスカッション中の岩崎正剛氏 Hadoop 3.0リリース 昨年の新春特別企画では、「2017年はHadoop 3.0がリリースされる年になるはずです。」と書きましたが、Hadoop 3.0.0が2017年12月13日にリリースされました。2017年の間に3.0.0-alpha2、3.0.0-alpha3、3.0.0-alpha4、3.0.0-beta1とリリースを重ね、なんとか2017年内に間に合った格好です。 2016年にリリ
Apache Spark 2.3のCatalystでのコード生成の改善の解説 | Kazuaki Ishizaki
この記事は？ この記事は、Distributed computing (Apache Hadoop, Spark, Kafka, …) Advent Calendar 2017の21日目の記事です。 この記事の内容は？ 2018年の早い時期にリリース予定のApache Spark 2.3に入る、Catalyst optimizerによって生成されるJavaコードの改善に関するまとめです。 結局何がいいたいの？ Spark 2.2までは、DataFrameやDatasetのqueryの中で、複雑な式や多数のカラム、を使うと、実行時に例外が投げられて、運が悪いと実行が止まってしまうのを、よく見ていたこと思います。 この例外は、20年以上前に定義されたJavaのクラスファイルの仕様が持つ、２つの64KBの制限、からくるものでした。これらの制限によって起きる例外は、Spark 2.3ではかなり減り
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
Zalando Engineering Blog - Apache Showdown: Flink vs. Spark
Saiki is Zalando’s next generation data integration and distribution platform in a world of microservices. Saiki ingests data generated by operational systems and makes it available to analytical systems. In this context, the opportunity to do near real time business intelligence has presented itself and introduced the task of finding the right stream processing framework. In this post, we will de
クロスするデザインとエンジニアリング (15:50- ＠A会場) | CROSS Party 2019
小木曽 槙一 さくらインターネット株式会社 Twitter さくらインターネット所属のデザインエンジニア。 制作会社のデザイナーとしてデザイン・UI設計・ディレクションを経験、その後エンジニアとしてアプリケーション・フロントエンド開発を兼務。現在は主にWebアプリケーションのUI設計、Webフロントエンド実装を担当。副業エンジニア・デザイナーとしても活動中。 佐竹 裕行 株式会社ブックテーブル Twitter フロントエンドが中心のソフトウェア・エンジニア。現在は株式会社サイバーエージェントの子会社ブックテーブルに出向中。 CA社内ではデザインとエンジニアリングの両方を取り扱うデザインエンジニアリング・ギルドという部活動みたいなもので部長的ポジションを担当中。そのほかデザインスプリントやアイデアスケッチなどを社内で布教させるための活動も勝手に行なっている。 河西 紀明 DMM.com Tw
スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
初めてのSpark
Sparkの概要、RDDを使ったプログラミング、キー／値ペアの処理など基礎的な説明から、Sparkの高度なプログラミング、クラスタ上での本格的な利用まで解説した、Sparkの総合的な入門書です。日本語版の内容にはバージョン1.3/1.4での機能強化も取り入れ、土橋昌氏による「原書発行以降の変更点」、猿田浩輔氏による「Spark SQLについて本編の補足」、堀越保徳氏と濱口智大氏による「Spark/MapReduceの機械学習ライブラリ比較検証」を収録。全編にわたりCloudera株式会社エンジニアチームによるテクニカルレビューを実施。Sparkについて包括的に学べる本書は、ビッグデータや機械学習に携わる開発者必携の一冊です。 目次 はじめに 日本語版まえがき まえがき 1章 Sparkによるデータ分析への招待 1.1 Apache Sparkとは何か？ 1.2 統合スタック 1.2.1 S
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（後編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（後編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 （本記事は「Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）」の続きです。 Spark内部の動作が可視化 最新のSpark 1.4では、大きな機能追加が3つあります。 1つは、R言語でSparkを用いた処理が書
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Project Magnet, providing push-based shuffle, now available in Apache Spark 3.2
How to Speed up SQL Queries with Adaptive Query Execution
Looking back at Spark 2.x and forward to 3.0
Cloudera Support - Knowledge Base
How to get Spark Metrics as JSON using Spark REST API in YARN Cluster mode
Apache Spark超入門 （Hadoop / Spark Conference Japan 2016 講演資料）
