文章浏览阅读4.6k次,点赞3次,收藏5次。1. 首先需要注意的Scala版本要与Spark相应版本对应 比如Spark1.6.0,官网上给出了依赖 Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala ve......
(1)解压安装包到/usr/local下。 tar -zxf /opt/spark-1.6.3-bin-hadoop2.6.tgz -C /usr/local (2)进入/usr/local/spark-1.6.3-bin-hadoop2.6/conf。 cd /usr/local/spark-1.6.3-bin-hadoop2.6/conf 3)配置spark-env.sh文件,复制spark-env.sh.template文件,重命名为spark-en......
文章浏览阅读1.6k次,点赞4次,收藏5次。Hive on Spark编译1)从官网下载Spark源码并解压下载地址:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5.tgz2)上传并解压spark3)进入spark解压后的目录4)执行编译命令[@hadoop101 spark-2.4.5]$......