文章浏览阅读5k次,点赞3次,收藏14次。开始安装部署spark1. 编辑 spark-env.sh我的配置:export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.7export SCALA_HOME=/usr/local/scala-2.11.8export JAVA_HOME=/usr/local/javaexport HADOOP_HOME=/home/hadoop..._配置 spark.local.dir ......
2024-01-24 09:48 阅读 阅读全文文章浏览阅读300次。算子,听起来很高大上的样子。我没有接触之前觉得学起来会很难!从认知心理学角度来看,解决问题是将问题的初始状态,通过一系列的操作对问题的状态进行转换,然后将问题解决。这里的操作就是指算......
2024-01-23 03:51 阅读 阅读全文资源浏览查阅179次。为了方便学习,wget了spark的api,有需要的可下载参考。spark在线使用更多下载资源、学习资料请访问CSDN文库频道....
2024-01-24 07:51 阅读 阅读全文文章浏览阅读1.5k次。用maven编译打包spark2.1.1_spark源码编译需要安装r吗...
2024-01-24 05:25 阅读 阅读全文不多说,直接上干货! 最近,开始,进一步学习spark的最新版本。由原来经常使用的spark-1.6.1,现在来使用spark-2.2.0-bin-hadoop2.6.tgz。 前期博客 Spark on YARN模式的安装(spark-1.6.1-bin-hadoop2.6.tgz + hadoo...
2024-01-24 07:58 阅读 阅读全文文章浏览阅读841次。Task多线程问题问题原因一个Executor是一个进程,一个进程中可以同时运行多个线程Task,如果多个Task使用了共享的成员变量,就会出现线程不安全的问题案例需求使用spark将日期字符串转换成long类型时间戳样......
2024-01-23 02:50 阅读 阅读全文文章浏览阅读6.2k次。SparkSql入门(基本信息的调用)_spark框架使用...
2024-01-23 03:22 阅读 阅读全文Spark Straming,Spark Streaming与Storm的对比分析一、大数据实时计算介绍二、大数据实时计算原理三、Spark Streaming简介四、Spark Streaming基本工作原理五、DStream六、Spark Streaming与Storm的对比分析6.1 与Storm的对比6.2 Spark Streaming与Storm的优......
2023-10-10 03:29 阅读 阅读全文文章浏览阅读1.2k次。本地电脑联调spark任务入门级_spark demo...
2024-01-23 07:35 阅读 阅读全文文章浏览阅读705次。spark教程汇总_spark2.7 run-example...
2024-01-24 08:33 阅读 阅读全文