文章浏览阅读9.5k次,点赞8次,收藏104次。源数据:https://pan.baidu.com/s/1rzEwBfR1m_lpZHekuEFnCg提取码:tgpf使用Spark完成下列日志分析项目需求:日志数据清洗用户留存分析活跃用户分析活跃用户地域信息分析用户浏览深度分析数据清......
2024-01-23 20:01 阅读 阅读全文文章浏览阅读655次。文章目录基本概念Standalone模式搭建1.解压缩文件2.修改配置文件启动集群1. 执行脚本命令2. 查看服务运行的进程3. 查看 UI 界面测试Spark中examples案例1. 提交应用2. 结果截图基本概念Spark的local 本地模式毕竟只是......
2024-01-24 04:30 阅读 阅读全文文章浏览阅读931次。1、kill任务 hadoop job-kill (job_num) yarn application -kill (application_num)2、提交任务样例如下: $SUBMIT--class $APP \ --masteryarn \ --driver-memory 1G \ --executor-m..._spark core利用scala处理数据案例...
2024-01-22 21:04 阅读 阅读全文文章浏览阅读411次,点赞2次,收藏3次。案例_rdd词频统计...
2024-01-21 11:40 阅读 阅读全文文章浏览阅读683次。Spark Standalone单机模式案例测试一、Spark自带程序说明二、基于Spark的蒙特卡罗求PI源码(Scala语言)三、运行程序,查看结果一、Spark自带程序说明示例程序:$SPARK_HOME/examples/jars/spark-examples_2.11-2.1.0.jar示例程序......
2024-01-24 04:30 阅读 阅读全文文章浏览阅读4.2k次,点赞2次,收藏28次。计算订单分类成交金额需求在给定的订单数据,根据订单的分类ID进行聚合,然后按照订单分类名称,统计出某一天商品各个分类的成交金额数据样例{“cid”: 1, “money”: 600.0, “longitude......
2024-01-23 02:48 阅读 阅读全文文章浏览阅读737次。(接上篇)Spark应用实例接下来用具体实例解决一些常见的转换。所研究的数据集是Movielens(https://github.com/MLWhiz/spark_post),该数据集是一个稳定基准数据集。1700部电影中的1000名用户给出了100000份评分,发......
2024-01-22 22:05 阅读 阅读全文文章浏览阅读218次。两个创建RDD的方法是完全一样的val conf = new SparkConf().setAppName("MapPartitionsDemo").setMaster("local[*]") val sc = new SparkContext(conf) //创建RDD val rdd1 = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10), 3) //makeRDD的......
2024-01-23 20:02 阅读 阅读全文文章浏览阅读387次。package cn.spark.study.coreimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject TransformationOperation { def main(args: Array[String]_spark学习245讲...
2024-01-24 06:59 阅读 阅读全文