文章浏览阅读4.5k次,点赞14次,收藏16次。前言本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和参考文献请见1000个问题......
2024-01-24 08:01 阅读 阅读全文文章浏览阅读396次。1. RDD的实现作业调度当对RDD执行“转换操作”时,调度器(DGAScheduler)会根据RDD的血统来构建由若干调度阶段(State)组成的有向无环图(DAG),每个调度阶段包含尽可能多的连续“窄依赖”转换。调度器按照有向......
2024-01-22 15:03 阅读 阅读全文文章浏览阅读1.9k次。RDD是Spark的核心,也是整个Spark的架构基础。spark与mapreduce相比,前者提供了更加丰富的编程接口给程序猿们。所以下面主要说明RDD的基本概念,以及其重要接口。 RDD包含4大操作: 1,创建操作......
2024-01-24 08:02 阅读 阅读全文文章浏览阅读606次。Scala面向接口彻底实战和Spark源码鉴赏_第17课:scala并发编程实战及spark源码鉴赏 博客...
2024-01-23 18:27 阅读 阅读全文