网友收藏 文章浏览阅读126次。文章目录堆1.算法分析2.模板3.典型例题堆1.算法分析down(x)函数:从x开始往下使用筛选法调整堆,up(x)函数:从x开始往上使用筛选法调整堆堆的基本操作(以小根堆为例):1.插入一个数: heap[++size] = x; up(size)2.求集合......
2024-01-22 19:02 阅读
阅读全文 网友收藏 文章浏览阅读105次。1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。abstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext,@transientprivatevardeps:Seq[Dependency[_]])......
2024-01-22 22:00 阅读
阅读全文 网友收藏 文章浏览阅读430次。1.声明变量1.1 语法格式在scala中,可以使用val或者var来定义变量,语法格式如下:val/var 变量标识:变量类型 = 初始值val定义的是不可重新赋值的变量var定义的是可重新赋值的变量1.2在解释器中定义一个变量示......
2024-01-22 16:40 阅读
阅读全文 网友收藏 文章浏览阅读7.1w次,点赞33次,收藏225次。RDD及其特点1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient Distributed Dataset,即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为......
2024-01-22 22:05 阅读
阅读全文 网友收藏 文章浏览阅读91次。========== Spark 通信架构 ==========1、spark 一开始使用 akka 作为网络通信框架,spark 2.X 版本以后完全抛弃 akka,而使用 netty 作为新的网络通信框架。最主要原因:spark 对 akka 没有维护,需要 akka 更新,spark 的发展......
2024-01-22 22:00 阅读
阅读全文 网友收藏 文章浏览阅读477次。本文关键详细介绍了docker-修改容器初始化目录的3种方式总结,具备非常好的实用价值,期待对大伙儿有一定的协助。一起追随我回来瞧瞧吧方法一:修改配置文件(需停止docker服务)1、停止docker服务systemctl sto......
2024-01-22 23:53 阅读
阅读全文 网友收藏 文章浏览阅读200次。1. require和define的区别The require() function is used to run immediate functionalities, while define() is used to define modules for use in multiple locations.require()——用于一次性定义的语句或模块,或立即执行的语句或模块..._module name &qu......
2024-01-23 03:58 阅读
阅读全文 网友收藏 文章浏览阅读89次。========== Spark 的监控方式 ==========1、Spark Web UI Spark 内置应用运行监控工具(提供了应用运行层面的主要信息--重要)2、Ganglia 分析集群的使用状况和资源瓶颈(提供了集群的使用状况--资源......
2024-01-22 22:00 阅读
阅读全文 网友收藏 文章浏览阅读592次,点赞2次,收藏3次。本文总结了接口的作用和在项目中的实际运用。_实际项目中是一个接口一个想法吗...
2024-01-23 01:24 阅读
阅读全文 网友收藏 文章浏览阅读144次。========== Spark Streaming 是什么 ==========1、SPark Streaming 是 Spark 中一个组件,基于 Spark Core 进行构建,用于对流式进行处理,类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark Streaming ......
2024-01-22 22:00 阅读
阅读全文