Spark 是一種快速、通用、可擴展的大數(shù)據(jù)分析引擎，2009 年誕生于加州大學(xué)伯克利分校 AMPLab，2010 年開源，2013 年 6 月成為 Apache 孵化項目，2014 年 2 月成為 Apache 頂級項目。目前，Spark 生態(tài)系統(tǒng)已經(jīng)發(fā)展成為一個包含多個子項目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、MLlib 等子項目，Spark 是基于內(nèi)存計算的大數(shù)據(jù)并行計算框架。Spark 基于內(nèi)存計算，提高了在大數(shù)據(jù)環(huán)境下數(shù)據(jù)處理的實時性，同時保證了高容錯性和高可伸縮性，允許用戶將 Spark 部署在大量廉價硬件之上，形成集群。