网友收藏 文章浏览阅读341次。package ce.scala.actorimport scala.actors.Actor._import scala.actors.Actorobject Actor_Message_67 { def main(args: Array[String]): Unit = { //匿名Actor val actor_Message = actor{ //Actor_scala actor 偏函数...
2024-01-23 18:27 阅读
阅读全文 网友收藏 文章浏览阅读3k次。查了一下应该是log的jar包冲突 把hive-jdbc-2.1.1-cdh6.3.2-standalone.jar 这个jar包换了个名字 再运行spark-shell 就可以了。以上提交参数中的--num-executors 40没有生效,executors 大于40并且占满yarn资源,导致后来的yarn任务......
2024-01-24 05:07 阅读
阅读全文 网友收藏 文章浏览阅读4.3k次,点赞3次,收藏10次。问题描述:ods_to_dwd_log报以下错误ods_to_dim_db报一下错误可以看出都是相同报错,无法创建spark事务Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.propertie......
2024-01-22 17:48 阅读
阅读全文 网友收藏 文章浏览阅读1.8k次。一,环境构建1、spark版本2、Scala语言打成的jar,因为Scala和java都是运行在jvm上的字节码类语言,java可以直接调用。,当然该包中包含了一些算法,LR、GBDT、决策树、随机森林,以便于数据的训练。3、maven web......
2024-01-24 00:44 阅读
阅读全文 网友收藏 文章浏览阅读6k次。虽然1.2.1版本也已经出来了,估计还是有很多人在用1.1.0或者1.0.0 版本。所以把编译和使用1.1.0版本时遇到的一些问题和解决思路写在这里,供参考。因为我们对cdh版本的hadoop做了一些生产环境相关的修改,所......
2024-01-24 05:07 阅读
阅读全文 网友收藏 二十六画生的博客擅长Java SSM,笔试面经 LeetCode 剑指Offer 后端/大数据,Hive Spark Hadoop MapReduce,等方面的知识,二十六画生的博客关注hive,storm,spark,hadoop,etl领域....
2023-10-11 21:14 阅读
阅读全文 网友收藏 文章浏览阅读2.7k次。一、Spark实现方案1. 创建Hive外部表, 数据保存格式为parquetcreate external table `bigdatalearnshare.test_excel_file`(`id` string,`name` string,`age` string)stored as parquetlocation '/bigdatalearnshare/test/test_excel_file';2. spark代码demospark版本: 2......
2024-01-23 11:58 阅读
阅读全文 网友收藏 文章浏览阅读2.3k次。spark sql这个类似于hive为mapreduce提供上层接口,使数据分析师可以不必为写mapreduce的Java代码而烦恼,同样并不是所有工程师都会Scala语言,所以spark sql就是做这个事情的。spark sql是spark用来处理结构化数据的......
2024-01-24 08:19 阅读
阅读全文 网友收藏 文章浏览阅读9k次。Spark 启动历史任务记录进程,报错 Logging directory must be specified解决_fshistoryprovider: history server ui acls disabled; users with admin permiss...
2024-01-24 05:39 阅读
阅读全文 网友收藏 文章浏览阅读2.9k次。hduser@master:/usr/local/hadoop/etc/hadoopHADOOPCONFDIR=/usr/local/hadoop/etc/hadoop/pyspark–masteryarn–deploy−modeclientPython2.7.14|Anaconda,Inc.|(default,Dec72017,17:05:42)[GCC7.2.0]onlinux2Type“he..._error util.utils: uncaught exception in thread yarn applicat......
2024-01-25 06:44 阅读
阅读全文