网站介绍:文章浏览阅读587次。第一步、数据的读取(输入)将要处理的数据读取封装到一个集合RDD中(类比与Scala中List列表)val inputRDD = sc.textFile("…”)第二步、数据处理(分析)调用集合RDD中函数(高阶函数)进行处理分析RDD ->函数 ->另外一个RDD :transformation函数val outpuRDD = inputRDD.#(#:基本就是List中函数)比如:map\flatMap\filter\reducebyKey第三步、数据的输出(_spark 驱动程序示例
- 链接地址:https://blog.csdn.net/qq_39674417/article/details/111868859
- 链接标题:spark 编程流程及案例_spark 驱动程序示例-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7337
- 网站标签:spark 驱动程序示例