Apache Sparkの概要 - Qiita

はじめに Apache Sparkはデータの高速な処理能力や、汎用性の高さから、昨今ではクラウドのPaaS型のデータ処理エンジンに搭載されるようになってきた。たとえばAzureのサービスでは従来からAzure HDInsightにPure 100% OSSのSparkが以前から搭載されている。Azure DatabricksはSparkのクラスター管理を大幅にクラウド側に寄せ、Notebookやジョブのインターフェース等を提供する形態も出てきて多くのユーザーに利用されているようである。また、2019年のMicrosoft Igniteで発表されたAzure Synapse Analyticsは従来のAzure SQL Data Warehouseに、Sparkエンジンを搭載してオンデマンドクエリ機能を提供するとの事。さらには、Azure Data Factory内にMapping Data

[sh19910711]

"開発者の生産性や安全性を求めてRDD → DataFrame → DatasetとAPIが進化 / PythonやRは現在はDatasetを利用できない / DataFrameはApache Spark 1.0でSchemaRDDという名前で実験的な機能として導入 + Spark 1.3の時にDataFrameとして改名"

[HHR]

大作。図の引用が多くて見やすい。用語集としても使えそう。