spark 编程流程及案例_spark 驱动程序示例-CSDN博客

网站介绍:文章浏览阅读587次。第一步、数据的读取(输入)将要处理的数据读取封装到一个集合RDD中(类比与Scala中List列表)val inputRDD = sc.textFile("…”)第二步、数据处理(分析)调用集合RDD中函数(高阶函数)进行处理分析RDD ->函数 ->另外一个RDD :transformation函数val outpuRDD = inputRDD.#(#:基本就是List中函数)比如:map\flatMap\filter\reducebyKey第三步、数据的输出(_spark 驱动程序示例