文章浏览阅读316次。一：准备工作：1.1 准备一个被统计文件：[root@hadoop001 ~]# hadoop fs -ls /logs/inputFound 1 items-rw-r–r-- 3 root supergroup 97 2019-03-14 22:48 /logs/input/text.txt[root@hadoop001 ~]# hadoop fs -cat /l..._简述wc案例的提交过程...

文章浏览阅读1.7k次，点赞3次，收藏22次。大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例_大数据技术之_19_spark学习_07_spark 性能调优 数据倾斜......

文章浏览阅读1.1k次，点赞3次，收藏7次。[ Spark mllib ] 聚类K-means案例——2021挖掘目的与要求数据格式数据读取与清洗聚合K-Means操作数据的再次清洗和拼接数据的输出打印完整代码最终结果目的与要求筛选北京地区（“城市”字......

文章浏览阅读4.7k次，点赞9次，收藏32次。案例练习求各个城市的平均温度//需求：求各个城市的平均温度val d1 = Array(("beijing", 28.1), ("shanghai", 28.7), ("guangzhou", 32.0), ("shenzhen", 33......

文章浏览阅读245次。数据guid01,2018-02-28guid01,2018-03-01guid01,2018-03-05guid01,2018-03-02guid01,2018-03-04guid01,2018-03-06guid01,2018-03-07guid02,2018-03-01guid02,2018-03-03guid02,2018-03-02guid02,2018-03-06要求求每个用户登录记录中连续三天以上有登录记录的用户,......

文章浏览阅读347次。数据http://bigdata.51doit.cn/laozhanghttp://bigdata.51doit.cn/laozhanghttp://bigdata.51doit.cn/laozhaohttp://bigdata.51doit.cn/laozhaohttp://bigdata.51doit.cn/laozhaohttp://bigdata.51doit.cn/laozhaohttp://bigdata.51doit.cn/laozhaohttp://bigdata.51doi_ideaspark最受欢......

资源浏览查阅61次。使用pyspark的stream操作kafka时，需要用到的jar包使用SparkStreaming与KaFka完成简单案例更多下载资源、学习资料请访问CSDN文库频道....

文章浏览阅读85次。 不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的JavaTC.java /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. Se..._static class projectfn implements pairfunction...

文章浏览阅读2k次，点赞3次，收藏9次。大数据机器学习之KNN（k近邻）算法Spark mllib实现案例背景在大数据场景下，spark框架提供了支持分类，聚合，协同过滤，回归四大类场景的mllib模块本文讲述的knn刚好是spark mllib不支持，但......

文章浏览阅读9.5k次，点赞9次，收藏80次。Scala 统计学生成绩题干学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开......