网友收藏 文章浏览阅读91次。========== Spark 通信架构 ==========1、spark 一开始使用 akka 作为网络通信框架,spark 2.X 版本以后完全抛弃 akka,而使用 netty 作为新的网络通信框架。最主要原因:spark 对 akka 没有维护,需要 akka 更新,spark 的发展......
2024-01-22 22:00 阅读
阅读全文 网友收藏 文章浏览阅读909次。大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式_spark sql jra...
2024-01-23 16:54 阅读
阅读全文 网友收藏 飞翔的小宇宙擅长Spark SQL,spring boot,JDK源码解析,等方面的知识...
2023-10-10 03:00 阅读
阅读全文 网友收藏 文章浏览阅读745次。大数据Spark “蘑菇云”行动前传第5课:零基础实战Scala函数式编程及Spark源码解析1 spark中scala集合操作鉴赏2 scala集合操作实战...
2024-01-22 22:08 阅读
阅读全文 网友收藏 文章浏览阅读643次。大数据Spark “蘑菇云”行动前传第7课:零基础实战Scala面向对象编程及Spark源码解析1 spark 中面向对象鉴赏2 scala中面向对象代码操作实战...
2024-01-22 22:09 阅读
阅读全文 网友收藏 文章浏览阅读6.4k次,点赞3次,收藏7次。1. 聚类1.1 什么是聚类?所谓聚类问题,就是给定一个元素集合D,其中每个元素具有n个可观察属性,使用算法将集合D划分成k个子集,要求每个子集内部的元素之间相异度尽可能低,而不......
2024-01-24 05:05 阅读
阅读全文 网友收藏 文章浏览阅读841次。大数据spark蘑菇云行动前传第5课:零基础彻底实战Scala函数式编程及Spark源码解析1 零基础彻底实战Scala函数式编程入门2 Spark源码中的scala函数式编程鉴赏 package com.dt.spark.scala.bascisobject HelloFunctionPograming { d......
2024-01-22 22:09 阅读
阅读全文 网友收藏 文章浏览阅读656次。内容:1、ClassTag、Mainfest、ClassManifest、TypeTag实战2、ClassTag、Mainfest、ClassManifest、TypeTag在Spark中的广泛应用 def arrayMake[T : Manifest](first : T, second : T) = { val r = new Array[T](2); r(0) _spark classtag...
2024-01-22 21:33 阅读
阅读全文 网友收藏 文章浏览阅读299次。程序宏大时java并发编程变得非常复杂,java并发编程的理念是:基于共享数据和加锁java多线程同时访问一个加锁数据时易发生死锁scala的并发编程:actor。与java实现方式完全不同,actor不共享数据,依赖消息......
2024-01-23 18:27 阅读
阅读全文 网友收藏 文章浏览阅读341次。package ce.scala.actorimport scala.actors.Actor._import scala.actors.Actorobject Actor_Message_67 { def main(args: Array[String]): Unit = { //匿名Actor val actor_Message = actor{ //Actor_scala actor 偏函数...
2024-01-23 18:27 阅读
阅读全文