文章浏览阅读262次。大数据技术之_19_Spark学习_05_Spark GraphX 应用解析小结_sparkgraphx小节...
2024-01-23 16:54 阅读 阅读全文文章浏览阅读124次。七 高阶函数7.1 作为参数的函数函数作为一个变量传入到了另一个函数中,那么该作为参数的函数的类型是:function1,即:(参数类型) => 返回类型 def plus(x: Int) = 3 +x val result1 = Array(1, 2, 3, 4).map(plus(_)) ......
2024-01-23 13:14 阅读 阅读全文文章浏览阅读1.7k次,点赞3次,收藏22次。大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例_大数据技术之_19_spark学习_07_spark 性能调优 数据倾斜......
2024-01-23 16:54 阅读 阅读全文文章浏览阅读89次。========== Spark 的监控方式 ==========1、Spark Web UI Spark 内置应用运行监控工具(提供了应用运行层面的主要信息--重要)2、Ganglia 分析集群的使用状况和资源瓶颈(提供了集群的使用状况--资源......
2024-01-22 22:00 阅读 阅读全文文章浏览阅读144次。========== Spark Streaming 是什么 ==========1、SPark Streaming 是 Spark 中一个组件,基于 Spark Core 进行构建,用于对流式进行处理,类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark Streaming ......
2024-01-22 22:00 阅读 阅读全文文章浏览阅读240次。大数据技术之_16_Scala学习_07第十章 数据结构(上)-集合_[ljava.lang.string;@29453f44 java里面的...
2024-01-23 08:29 阅读 阅读全文文章浏览阅读129次。一 Scala简述统计世界top100大学计算机系年级前三名,从初中开始编程,学过20多种语言,最后认为Scala最难。好了,我们开始享受这个过程把:)。二 Scala安装与配置2.1 安装Scala需要Java运行时库,安装Scala需......
2024-01-23 13:14 阅读 阅读全文文章浏览阅读4.7k次。第2章 日记采集阿里巴巴日志采集的两大体系Web端,基于浏览器日志采集技术方案:Aplus.JSAPP端,无线客户端日志采集技术方案:UserTrack2.1 浏览器的页面日志采集页面浏览日志的采集,也就是当一个页面被浏......
2024-01-24 18:43 阅读 阅读全文文章浏览阅读3.6k次,点赞2次,收藏28次。1 大数据概述大数据特性:4v volume velocity variety value 即大量化、快速化、多样化、价值密度低 数据量大:大数据摩尔定律 快速化:从数据的生成到消耗,时间窗口小,可用于生成决策的......
2024-01-24 07:20 阅读 阅读全文文章浏览阅读1.9k次。这里写目录标题思考?SparkStreaming 的wordcount第1章 SparkStreaming 概述1.1 Spark Streaming 是什么1.2 Spark Streaming 的特点1.3 Spark Streaming 架构1.3.1 架构图1.3.2 背压机制第 2 章 Dstream 入门2.1 WordCount 案例实操2.2 WordCount 解......
2024-01-22 17:49 阅读 阅读全文