文章浏览阅读169次。大数据技术之_19_Spark学习_07_Spark 性能调优小结_大数据技术之_19_spark学习_07...
2024-01-23 16:54 阅读 阅读全文文章目录MapReduce 核心思想MapReduce工作流程MapReduce 核心思想MapReduce分为Map阶段和Reduce阶段。Map阶段:前两个MapTask对黄色的区域进行统计,最后一个MapTask对灰色区域进行统计,Map阶段先将数据读到内存,之后对数据进行处理,按......
2023-10-11 14:46 阅读 阅读全文文章浏览阅读6.1k次,点赞5次,收藏40次。大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术......
2024-01-22 19:41 阅读 阅读全文目前,大数据领域每年都会涌现出大量新的技术,成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来,为人类社会经济活动提供依据,提高各个领域的运行效率,......
2023-10-10 03:06 阅读 阅读全文文章浏览阅读105次。1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。abstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext,@transientprivatevardeps:Seq[Dependency[_]])......
2024-01-22 22:00 阅读 阅读全文文章浏览阅读490次。大数据技术之_23_Python核心基础学习_02_ 流程控制语句 + 序列(10.5小时)...
2024-01-23 16:52 阅读 阅读全文文章浏览阅读3.6k次。大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数......
2024-01-23 10:47 阅读 阅读全文大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 1、Java编程技术 Java编程技......
2023-10-13 08:59 阅读 阅读全文文章浏览阅读3.0k次,点赞30次,收藏173次。大数据技术之_32_大数据面试题_01一、Hive 基本面试1、什么是 metastore2、metastore 安装方式有什么区别3、什么是 Managed Table 跟 External Table?4、什么时候使用 Managed Table 跟 External Table?5、hi......
2024-01-23 16:51 阅读 阅读全文文章浏览阅读324次。第1章 Spark概述 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。项目是用Scala进行......
2024-01-23 13:13 阅读 阅读全文