网友收藏Spark三层架构_spark的三层技术架构为-CSDN博客
文章浏览阅读610次。文章目录Spark三层架构Spark三层架构controller(控制层)，service(服务层)，dao(持久层)在web开发中，由于application的变量在后面部分需要用到，为了避免架构之间的耦合行，可以利用ThreadLocal来将共享变量存入，需......
网友收藏阅读全文
网友收藏网友收藏大数据技术之_19_Spark学习_07_Spark 性能调优小结-CSDN博客
文章浏览阅读169次。大数据技术之_19_Spark学习_07_Spark 性能调优小结_大数据技术之_19_spark学习_07...
网友收藏Spark调优技术点_spark sql reduce-CSDN博客
文章浏览阅读214次。1 性能调优1.1 分配资源spark‐submit \‐‐master spark://node1:7077 \‐‐class cn.itcast.WordCount \‐‐num‐executors 10 \ # 配置executor的数量‐‐driver‐memory 6g \ # 配置driver的内存（影响不大）‐‐executor‐memory 6g \ # 配置每......
网友收藏大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例_大数据技术之_19_spark学习_07_spark 性能调优 数据倾斜调优 运行资源调优 程序开-CSDN博客
文章浏览阅读1.7k次，点赞3次，收藏22次。大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例_大数据技术之_19_spark学习_07_spark 性能调优 数据倾斜......
网友收藏大数据技术之_19_Spark学习_02_Spark Core 应用解析小结-CSDN博客
文章浏览阅读105次。1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。abstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext,@transientprivatevardeps:Seq[Dependency[_]])......
网友收藏曹利荣_java从入门到精通,Spark技术详解,Hadoop核心技术-CSDN博客
曹利荣擅长java从入门到精通,Spark技术详解,Hadoop核心技术,等方面的知识,曹利荣关注hive,storm,spark,hadoop,etl领域....
网友收藏1.大数据技术之Spark基础_spark课程思政-CSDN博客
文章浏览阅读324次。第1章 Spark概述 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行......
网友收藏第112讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？学习笔记_spark 第二代大数据-CSDN博客
文章浏览阅读2.3k次。第112讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？学习笔记本讲开始hadoop深入浅出实战经典部分本讲内容：1.第一代大数据技术Hadoop2.第二代大数据技术Spark hadoop开启了人们大规模普及化......
网友收藏大数据技术之_19_Spark学习_06_Spark 源码解析小结-CSDN博客
文章浏览阅读91次。========== Spark 通信架构 ==========1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展......
网友收藏大数据技术之_19_Spark学习_05_Spark GraphX 应用解析小结_sparkgraphx小节-CSDN博客
文章浏览阅读262次。大数据技术之_19_Spark学习_05_Spark GraphX 应用解析小结_sparkgraphx小节...
