文章浏览阅读718次。Spark术语解释Application：基于Spark的用户程序，包含了driver程序和集群上的executorDriver program：运行main函数并且创建SparkContext的程序Cluster Manager：在集群上获取资源的外部服务（例如standlone，Mesos，Yarn）Worker Nod......

文章浏览阅读775次。1、集群规划使用三台Linux虚拟机来组成集群环境, 非别是:node1\ node2\ node3node1运行: Spark的Master进程 和 1个Worker进程node2运行: spark的1个worker进程node3运行: spark的1个worker进程在所有机器安装Python(Anaconda):参考：Anac......

文章浏览阅读9.2k次。Spark ERROR: org.apache.spark.shuffle.FetchFailedException 问题追查_spark retryingblockfetcher: exception while beginning fetch of 6 outstanding...

文章浏览阅读3.1w次，点赞2次，收藏31次。spark的4大结构未完待续。。。_spark有哪些组件...

文章浏览阅读958次。Spark MLlib数据挖掘一、Spark MLlib概述MLlib是Spark的机器学习（Machine Learning）库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协......

文章浏览阅读391次。很多Spark用户也使用Akka，但是由于Akka不同版本之间无法互相通信，这就要求用户必须使用跟Spark完全一样的Akka版本，导致用户无法升级Akka。Spark的Akka配置是针对Spark自身来调优的，可能跟用户自己代码中的Ak......

文章浏览阅读858次。Spark（一）前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学......

文章浏览阅读2k次。一、Spark基础知识二、Scala环境搭建1、部署本地SCALA（1）官网下载2.12.15版本链接：Scala 2.12.15 | The Scala Programming Language（2）配置环境变量（3）cmd 检查一下本地 Scala部署完成2、部署服务器Scala（1）复制下载链......

文章浏览阅读655次。文章目录基本概念Standalone模式搭建1.解压缩文件2.修改配置文件启动集群1. 执行脚本命令2. 查看服务运行的进程3. 查看 UI 界面测试Spark中examples案例1. 提交应用2. 结果截图基本概念Spark的local 本地模式毕竟只是......

文章浏览阅读3.9k次，点赞2次，收藏7次。1. 什么是梯度下降？梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（......