文章浏览阅读1.6k次。这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定......

文章浏览阅读194次。一、RDD spark未来的编程方向是DataSet或DataFrame，但是RDD是Spark 的基石、底层，所以必须要掌握先看看github上的介绍：https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala或者我们可以从IDEA上......

文章浏览阅读2.6k次。跟随王老师学习第一个课总结，scala基础知识：变量定义、if else、while、for、数组、map、函数定义_:28: error: unit does not take parameters {val a=1;{val b=a*2;{val...

文章浏览阅读103次。本課課程：Spark源码中的Scala模式匹配编程Scala中模式匹配编程操作实战Spark源码中的Scala模式匹配编程每個 case 里面都是一個函数，如果條件符合了就運行 => 右邊的代碼 (函数體)[insert1]這里也是模式匹配的......

文章浏览阅读441次。大数据技术之_16_Scala学习_05_面向对象编程-中级_scala入门到精通中面向对象编程(中级)练习的代码...

一个写湿的程序猿擅长【理论科普】大数据 | 云原生 | 机器学习 | 人工智能,深入理解Java虚拟机,LeetCode,等方面的知识,一个写湿的程序猿关注flink,云原生,python,java,数据仓库,etl,数据结构,大数据领域....

文章浏览阅读556次。第4章 凸优化算法4.1 梯度下降4.2 牛顿法4.3 拟牛顿法4.4 BFGS 算法第5章 L1、L2 正则化5.1 从经验风险最小化到结构经验最小化5.2 范数与正则项5.3 贝叶斯先验第6章 线性回归算法6.1 数学模型6.2 线性回归的应用6.2 S......

Hadoop概要到底是业务推动了技术的发展，还是技术推动了业务的发展，这个话题放在什么时候都会惹来一些争议。随着互联网以及物联网的蓬勃发展，我们进入了大数据时代。IDC预测，到2020年,全球会有44ZB的数据量。 传统存储......

文章浏览阅读278次。1 解压缩文件将文件spark-2.4.5-bin-without-hadoop-scala-2.12.tgz解压缩到无中文无空格的路径中，将hadoop3依赖jar包拷贝到jars目录中。2 启动本地环境1) 执行解压缩文件路径下bin目录中的spark-shell.cmd文件，启动Spark......

文章浏览阅读251次。所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，......