网站介绍:文章浏览阅读800次。一、测试环境DS:1.3.4Ambari:2.6.3.0-235提交模式:client二、需求说明需要使用pyspark写一个算法模型项目,通过DS进行提交训练。此算法模型项目包含多个.py文件和配置文件、模型相关文件。具体结构如下图,其中配置文件为conf/env.yml,模型文件为modelfiles/bert/bert_vocab.txt、modelfiles/bert/config.json、pytorch_model.bin。输出文件夹为output。run.p...
- 链接地址:https://blog.csdn.net/hyj_king/article/details/122976748
- 链接标题:【Dolphinscheduler】DS提交pyspark多文件项目到yarn集群-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7254
- 网站标签:【Dolphinscheduler】DS提交pyspark多文件项目到yarn集群