spark进阶(八): spark streaming用法[下] Structured Streaming使用_structured streaming inner join 只支持 append-CSDN博客

网站介绍:文章浏览阅读544次。Spark 2.0产生了一个新的流处理框架Structured Streaming(结构化流),它是一个可伸缩的、容错的流处理引擎,构建在Spark SQL引擎之上。使用StructuredStreaming可以在静态数据(Dataset/DataFrame)上像批处理计算一样进行流式计算。随着数据的不断到达,Spark SQL引擎会增量地、连续地对其进行处理,并更新最终结果。简单来讲就是DSteam是基于RDD的DSteam,Structured Streaming是基于Dataset(DataFram_structured streaming inner join 只支持 append