REST job server for Apache Spark 主要特点 通过Rest API 提交spark 作业运行,支持sql,java/scala,python类型作业,解耦业务系统与spark 集群。 Spark Job 运行资源相互隔离以及高可用性,每一个job 独立运行在一个S......
2024-01-24 12:37 阅读 阅读全文文章浏览阅读63次。1、准备安装包2、Spark Standalone 即独立模式 2.1、解压安装包到你安装的目录。 2.2、拷贝 conf 目录下的 slaves 文件,将 slave 节点的 hostname 写在文件中,每行一个。 2.3、拷贝 conf 目录下的 spark-env.sh 文......
2024-01-22 22:01 阅读 阅读全文文章浏览阅读909次。大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式_spark sql jra...
2024-01-23 16:54 阅读 阅读全文大数据—— Spark 优化,大数据—— Spark Core 知识点整理,大数据—— Scala 知识点整理,scala,big data,大数据...
2024-01-22 17:36 阅读 阅读全文Stark_Summer博客 - spark分类文章列表...
2024-01-24 06:07 阅读 阅读全文文章浏览阅读3.5k次。1.背景: 在spark出现之前,hadoop的迅速发展,hadoop分布式集群,把编程简化为自动提供 位置感知性调度,容错,以及负载均衡的一种模式,用户就可以在普通的PC机上运行超大集群运算,hadoop有一个非常大的......
2024-01-24 07:58 阅读 阅读全文kxr0502擅长大数据技术-Scala,spark,HA,等方面的知识...
2023-10-10 03:07 阅读 阅读全文文章浏览阅读900次。第1章 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 为什么要学习 Spark Streaming1.3 Spark 与 Storm 的对比第2章 运行 Spark Streaming第3章 架构与抽象第4章 Spark Streaming 解析4.1 初始化 StreamingContext4.2 什么是 DStreams4.3 DStr..._......
2024-01-22 22:00 阅读 阅读全文资源浏览查阅7次。SparKSQLPartofthecoredistributionsinceSpar更多下载资源、学习资料请访问CSDN文库频道....
2024-01-24 08:19 阅读 阅读全文资源浏览查阅156次。在我博客中的三个基础章节第1章Spark概述第2章Spark第3章案更多下载资源、学习资料请访问CSDN文库频道....
2024-01-23 13:14 阅读 阅读全文