6.2.1 Spark 《概述》意义,架构,部署模式《安装》本地,伪分布,集群(S/Y),开发环境《RDD编程》概述,RDD创建(集合/文件/RDD),转换子(宽/窄依赖)_CH_ENN的博客-CSDN博客网友收藏

6.2.1 Spark 《概述》意义,架构,部署模式《安装》本地,伪分布,集群(S/Y),开发环境《RDD编程》概述,RDD创建(集合/文件/RDD),转换子(宽/窄依赖)_CH_ENN的博客-CSDN博客

文章浏览阅读450次。大数据高速计算引擎SparkSpark Core -- 离线Spark SQL -- 离线、交互Spark Streaming -- 实时Spark GraphX -- 图处理Spark原理MapReduce、Spark、Flink（实时） => 3代计算引擎；昨天、今天、未来MapReduce、Spark：类MR的处理引擎；......
2023-11-11 18:10 评论 0 阅读
阅读全文
eclipse集成Scala,运行Spark项目和<console>:1: error: ';' expected but '.' found. 报错_<console>:1: error: ';' expected but ')' found.-CSDN博客网友收藏

eclipse集成Scala,运行Spark项目和&lt;console&gt;:1: error: ';' expected but '.' found. 报错_<console>:1: error: ';' expected but ')' found.-CSDN博客

文章浏览阅读7.5k次。下载windows环境的scala：下载地址：https://www.scala-lang.org/download/然后运行安装就行了；2，eclipse集成scala(1) 在Eclipse中选择Help-&amp;gt;Install new Software http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site然后进入到........
2024-01-22 16:40 评论 0 阅读
阅读全文
spark-submit提交Python工程到Yarn报错：java.lang.ClassNotFoundException: com.mongodb.client.model.Collation_java.lang.classnotfoundexception: com.mongodb.mong-CSDN博客网友收藏

spark-submit提交Python工程到Yarn报错：java.lang.ClassNotFoundException: com.mongodb.client.model.Collation_java.lang.classnotfoundexception: com.mongodb.mong-CSDN博客

文章浏览阅读1.2k次。查看对应Yarn任务日志报错如图。将bson-3.8.1.jar，mongo-java-driver-3.11.0.jar，mongo-spark-connector_2.11-2.3.2.jar，mongodb-driver-core-3.8.1.jar这几个jar包放到每个节点的hadoop目录下的lib中，问题解决..._java.lang.classnotfoundexceptio......
2024-01-24 09:48 评论 0 阅读
阅读全文
spark写hudi：NoSuchMethodError: org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V_19728 [qtp129618340-67] warn org.apache.hudi.org.a-CSDN博客网友收藏

spark写hudi：NoSuchMethodError: org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V_19728 [qtp129618340-67] warn org.apache.hudi.org.a-CSDN博客

文章浏览阅读1.1k次。前提Hudi version : 0.9.0Spark version : 3.1.2Hive version : 2.1.1-cdh6.3.2Hadoop version : 3.0.0-cdh6.3.2报错日志：scala&gt; df.write.format(&quot;hudi&quot;). | options(getQuickstartWriteConfigs). | option(PRECOMBINE_FIELD_OPT_KEY, &quot;ts&quot;). ......
2024-01-23 03:07 评论 0 阅读
阅读全文
04 Spark：RDD转换算子之Key-Value类型_(68)在rdd的转换算子中,主要用于(key,value)键值对的数据集,将具有相同key的val-CSDN博客网友收藏

04 Spark：RDD转换算子之Key-Value类型_(68)在rdd的转换算子中,主要用于(key,value)键值对的数据集,将具有相同key的val-CSDN博客

文章浏览阅读603次。RDD转换算子之Key-Value类型文章目录RDD转换算子之Key-Value类型1. partitionBy(partitioner)2. reduceByKey(func, [numTasks])3. groupByKey()4. aggregateByKey(zeroValue)(seqOp, comOp, [numTasks])5. foldByKey(zeroValue)(func)6. combineByKey[C]7. sortByKey8. mapVa......
2024-01-23 16:35 评论 0 阅读
阅读全文
Spark Streaming 快速入门系列(3) | DStream中如何创建数据源_2.自定义数据采集器 需要继承receiver,并实现onstart、onstop方法来自定义数据源-CSDN博客网友收藏

Spark Streaming 快速入门系列(3) | DStream中如何创建数据源_2.自定义数据采集器 需要继承receiver,并实现onstart、onstop方法来自定义数据源-CSDN博客

文章浏览阅读4.3k次，点赞46次，收藏4次。  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了......
2024-01-23 10:31 评论 0 阅读
阅读全文
spark-submit 提交时报错：Exception in thread “main“ java.lang.StackOverflowError_saprk-submit错误exception in thread &quot;main&quot; java.lang-CSDN博客网友收藏

spark-submit 提交时报错：Exception in thread “main“ java.lang.StackOverflowError_saprk-submit错误exception in thread "main" java.lang-CSDN博客

文章浏览阅读294次。堆栈溢出解决方案进入spark安装目录下的conf文件夹cd /opt/spark/conf/cp spark-defaults.conf.template spark-defaults.confvi spark-defaults.confspark.driver.extraJavaOptions=&quot;-Xss30M&quot;_saprk-submit错误exception in thread &quot;main&quot; java.lang.......
2024-01-23 21:33 评论 0 阅读
阅读全文