文章浏览阅读4.2k次。随着大数据技术的发展,一些更加优秀的组件被提了出来,比如现在最常用的Spark组件,基于RDD原理在大数据处理中占据了越来越重要的作用。在此我们探索了Spark的原理,以及其在大数据开发中的重要作用......
2024-01-22 22:04 阅读 阅读全文文章浏览阅读7.1w次,点赞33次,收藏225次。RDD及其特点1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient Distributed Dataset,即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为......
2024-01-22 22:05 阅读 阅读全文文章浏览阅读717次。大数据开发之机器学习总结(Spark Mllib)(四)背景在大数据和机器学习交叉的领域,如果公司选择了hadoop生态,结合spark框架,则spark 的mllib用于机器学习实际应用就是不二选择了。团队有spark基础,学习和......
2024-01-23 19:07 阅读 阅读全文