文章浏览阅读5.4k次,点赞2次,收藏3次。前言 想在本地提交spark程序,在网上找了一些文章。在本地提交的前提就是,spark以集群的方式启动。于是想以简单的standalone方式启动,但在启动的时候遇到了一些问题,下面把过程和......
2024-01-24 05:43 阅读 阅读全文文章浏览阅读1.6k次,点赞2次,收藏8次。简介: 当一个Spark应用提交到集群上运行时,应用架构包含了两个部分Driver Program(资源申请和调度Job执行)Executors(运行Job中Task任务和缓存数据),两个都是JVM Process进程1: Driver程序运行......
2024-01-24 07:14 阅读 阅读全文安装:安装在客户端:解压包解压在 /opt/software/spark(自己定义的目录)配置文件:修改slaves文件:其中配置worker的节点修改配置文件:spark-env.sh,配置hadoop相关信息3.修改命令:sbin目录下的 start-all.sh 改为: start-1.6.3.sh(自定义)4.......
2023-10-10 04:17 阅读 阅读全文文章浏览阅读1k次。SimpleGraphX1.1 创建文件夹(10.103.105.63)spark-3.1.1-bin-hadoop2.7/Test/mkdir graphxcd graphxmkdir simplegraphxcd simplegraphxmkdir -psrc/main/scalacd /src/main/scala1.2 创建graphx.scala文件vim graphx.scala在文件graphx.scala..._scala从nebula读取数据用 ......
2024-01-23 23:12 阅读 阅读全文文章浏览阅读1.7k次,点赞2次,收藏3次。问题:SparkStreaming接收不到数据,并未报Error错误,打印如下信息:20/05/06 01:18:29 INFO memory.MemoryStore: Block input-0-1588699109200 stored as values in memory (estimated size 32.0 B, free 1994.9 MB)20/05/06 01:18:29 .........
2024-01-24 00:08 阅读 阅读全文大数据Spark “蘑菇云”行动前传Scala专家之路第28课:Scala隐式转换内幕实践解密大数据Spark “蘑菇云”行动前传Scala专家之路第28课:Scala隐式转换内幕实践解密1 Scala隐式转换内幕2 Scala作用域3 Scala隐式转换思考 package com.dt.sp......
2023-10-10 03:18 阅读 阅读全文文章浏览阅读834次。GraphX之Pregel算法原理及Spark实现Pregel案例:求顶点5到其他各点的最短距离Pregel原理分析Pregel源码 def pregel[A: ClassTag]( initialMsg: A, maxIterations: Int = Int.MaxValue, activeDirection: EdgeDirection = EdgeDirection.Either)(......
2024-01-22 14:08 阅读 阅读全文文章浏览阅读3.6k次。import org.apache.spark.sql.functions._import spark.implicits._import org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.ml.linalg.{Vector, Vectors}import org.apache.spark.sql.{DataFrame, Row, SparkSession}import org.apache.spark.sql._sparksql collect_list...
2024-01-23 00:43 阅读 阅读全文文章浏览阅读2.8k次,点赞3次,收藏5次。Spark.version: 2.4.4Apache Spark 2.0引入了SparkSession,其为用户提供了一个统一的切入点来使用Spark的各项功能,例如不再需要显式地创建SparkConf, SparkContext 以及 SQLContext,因为这些对象已经封装......
2024-01-23 23:14 阅读 阅读全文