网友收藏 文章浏览阅读669次。上一节对Spark进行大致的介绍,包括其历史、特点以及各内置模块等方面内容,书归正题,本节就对Spark框架的安装部署进行大致的介绍。部署Spark集群大体上分为两种模式:单机模式与集群模式。大多数分布......
2024-01-23 08:31 阅读
阅读全文 网友收藏 文章浏览阅读184次。未经本人同意严禁转载,徽沪一郎。概要在Standalone部署模式下,Spark运行过程中会创建哪些临时性目录及文件,这些临时目录和文件又是在什么时候被清理,本文将就这些问题做深入细致的解答。从资源使用......
2024-01-24 05:59 阅读
阅读全文 网友收藏 第66讲:Scala并发编程实战初体验及其在Spark源码中的应用解析笔记程序宏大时java并发编程变得非常复杂,java并发编程的理念是:基于共享数据和加锁的线程模型--若干程序访问共享数据,用监视器监控共享数据的访问。synchronize......
2023-10-10 03:27 阅读
阅读全文 网友收藏 文章浏览阅读176次。目录一、RDD的依赖关系1.1窄依赖1.2宽依赖查看源码二、Lineage(⾎统)&容错性Lineage容错性一、RDD的依赖关系RDD和它依赖的⽗RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency......
2024-01-21 12:50 阅读
阅读全文 网友收藏 文章浏览阅读1.1k次。hive 中文乱码_hive库用了groupby就乱码...
2024-01-22 21:52 阅读
阅读全文 网友收藏 文章浏览阅读3.6k次。最近在研究spark sql ,但是遇到一个无力着手的问题,不多说,直接上代码:public static void main(String[] args){ SparkConf conf=new SparkConf() .setMaster("local") .setAppName("MyGenericLoadAndSave_持久......
2024-01-24 05:42 阅读
阅读全文 网友收藏 文章浏览阅读1.2k次。由于spark-shell停止掉后,hadoop102:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。1)修改spark-default.conf.template名称[mischen@hadoop102 conf]$ mv spark-defaults.conf.template spark-defau......
2024-01-24 05:46 阅读
阅读全文 网友收藏 文章浏览阅读1.5k次。问题:最近现场反馈采用yarn-cluster方式提交spark application后,在提交节点机上依然会存在一个yarn的client进程不关闭,又由于spark application都是spark structured streaming程序(application常年累月的执行),最终导致sp......
2024-01-24 09:52 阅读
阅读全文 网友收藏 文章浏览阅读6.4k次,点赞3次,收藏10次。Scala REPL实现原理与Spark Shell简介 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.csdn.net/wang_wbqScala是我最喜欢......
2024-01-22 16:12 阅读
阅读全文 网友收藏 文章浏览阅读917次。文章目录一、基本容器1、Tuple零碎I know, i know地球另一端有你陪我一、基本容器Scala 中的容器又类似于 Python 中的容器Tuple List Set Map注意的是,四个基本容器全是不可变的1、Tuple零碎本地(local)运行 Spark 项......
2024-01-23 04:52 阅读
阅读全文