网友收藏 文章浏览阅读1.3k次。1、远程连接linux2、c_cpp_properties.json{"configurations":[{"name":"Linux","includePath":["${workspaceFolder}/**","/usr/include/c++/4.8","/usr/include/x86_64..._windows vscode打开大型项目linux源......
2023-11-14 00:32 阅读
阅读全文 网友收藏 文章浏览阅读1.3k次。1、远程连接linux2、c_cpp_properties.json{"configurations":[{"name":"Linux","includePath":["${workspaceFolder}/**","/usr/include/c++/4.8","/usr/include/x86_64..._windows vscode打开大型项目linux源......
2023-11-21 04:12 阅读
阅读全文 网友收藏 文章浏览阅读1.7k次。spark RDD的常用操作 RDD的操作分为两种,一种是转化操作,一种是执行操作,转化操作并不会立即执行,而是到了执行操作才会被执行 转化操作:map() 参数是函数,函数应用于RDD每一个元素,返回值是新的......
2024-01-24 07:58 阅读
阅读全文 网友收藏 文章浏览阅读277次,点赞2次,收藏2次。生命无罪,健康万岁,我是laity。以下操作都是基于你已经把hadoop集群搭建好了的情况下Spark的运行模式上面的部署安装属于(本地模式)Local部署Spark的架构角色个人认为很重要 - 方便理解Spa......
2024-01-24 00:35 阅读
阅读全文 网友收藏 文章浏览阅读1.1k次。详细的文档在系列cdh搭建第一篇有详细的介绍,但是相关场景,觉得还是需在本篇做一下补充。。。spark2自定义安装 参考这篇文章 https://blog.csdn.net/Gavin_chun/article/details/78554277 一、下载 ..._final app sta......
2024-01-24 05:10 阅读
阅读全文 网友收藏 文章浏览阅读1k次。报错1:问题描述:执行hadoop命令报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable mkdir: Permission denied: user=Devops, access=WRITE, inode="/":root:supergroup:drwxr-......
2024-01-25 06:44 阅读
阅读全文 网友收藏 文章浏览阅读362次。spark调优之随机前缀当两个大表出现数据倾斜,那么不能用mapjoin(也就是broadcast)来解决的时候,我们可以采用随机前缀+单独join->union正常数据join结果来解决;代码:解释:rdd2中key为“001”的数据非常多......
2024-01-22 22:30 阅读
阅读全文 网友收藏 文章浏览阅读187次。大数据-Spark-SparkStreaming实时流处理保存到Mysql demonc安装与演示spark-shell演示idea代码演示_nc -lk 9999发送数据到sparkstreaming保存数据到mysql...
2024-01-24 04:58 阅读
阅读全文 网友收藏 文章浏览阅读2.1k次。文章目录1.Standalone-client提交任务方式执行流程总结2.Standalone-cluster提交任务方式执行流程总结须知Spark中Standalone有两种提交模式,一个是Standalone-client模式,一个是Standalone-cluster模式。1.Standalone-client提交任......
2024-01-25 06:15 阅读
阅读全文 网友收藏 文章浏览阅读2.6k次,点赞6次,收藏10次。案例一:分析tomcat的访问日志,求访问量最高的两个网页 1、对每个jps的访问量求和 2、排序 3、取前两条记录 结果:ArrayBuffer((oracle.jsp,9), (hadoop.jsp,9))案例二:分析tomcat的访问日志,根据......
2024-01-23 01:13 阅读
阅读全文