Spark高级编程-CSDN博客

网站介绍:介绍我们主要介绍两种共享变量类型:accumulators聚合信息,broadcast有效的分发large values。当我们的任务涉及到了需要大量的设置时间(比如创建数据库连接或者随机数生成),我们可以把这个设置时间share到多个数据items上面。除了Spark直接支持的语言外,我们还可以使用pipe()方法来与别的编程语言进行沟通,例如使用pipe()方法来访问R语言的库。Accumula_spark高级编程