spark:spark-submit 提交任务及参数说明(yarn)_spark.kryoserializer.buffer.max可以在spark-submit提交么-CSDN博客

网站介绍:文章浏览阅读1.4w次,点赞6次,收藏19次。spark-submit 可以提交任务到 spark 集群执行,也可以提交到 hadoop 的 yarn 集群执行。1. 例子一个最简单的例子,部署 spark standalone 模式后,提交到本地执行。./bin/spark-submit \--master spark://localhost:7077 \examples/src/main/python/pi.py如果..._spark.kryoserializer.buffer.max可以在spark-submit提交么