网站介绍:文章浏览阅读1.7k次。刚刚学习spark,所以写个简单案列,来提升自己。 spark也会有类似于hadoop的mapreduce过程,用于数据的处理。 准备工作:先将一个写有单词的文本传上到hdfs。 函数解释: 1,flatMap: flatmap与map类似,区别是原RDD中的元素经map处理后只能生成一个元素,而原RDD中的元素经flatmap处理后可生成多个元素来构建新RDD。返_针对mapreduce实验的数据,使用spark实现单词计数。
- 链接地址:https://blog.csdn.net/young_so_nice/article/details/51581507
- 链接标题:spark1.6.1入门api实现单词计数_针对mapreduce实验的数据,使用spark实现单词计数。-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:2733
- 网站标签:针对mapreduce实验的数据 使用spark实现单词计数。