文章浏览阅读97次。本文测试的Spark版本是1.3.1Spark Streaming编程模型:第一步: 需要一个StreamingContext对象,该对象是Spark Streaming操作的入口 ,而构建一个StreamingContext对象需要两个参数: 1、SparkConf对象:该对象是配置Spark 程序......
2024-01-24 08:41 阅读 阅读全文文章浏览阅读152次。一. 类和对象的区别和联系类是抽象的,概念的,代表一类事物,比如人类,猫类…对象是具体的,实际的,代表一个具体事物类是对象的模板,对象是类的一个个体,对应一个实例Scala中类和对象的区别和联系......
2024-01-23 02:58 阅读 阅读全文通过大量的案例说明常用transformation函数的使用...
2024-01-24 08:33 阅读 阅读全文文章浏览阅读304次。如何终止spark集群 stop-all.sh Hadoop之HDFS文件操作 hadoop fs -cat /user/hadoop/output #查看文件内容http://blog.csdn.net/flyfish111222/article/details/51995523 可参考HDFS Web界面上只_spark代码实战...
2024-01-24 08:41 阅读 阅读全文文章浏览阅读435次。案例:对每个班级内的学生成绩,取出前3名1>文件部分数据_topn spar...
2024-01-23 13:57 阅读 阅读全文文章浏览阅读3.7w次,点赞15次,收藏60次。作者:周志湖 网名:摇摆少年梦 微信号:zhouzhihubeyond本节主要内容Spark重要概念弹性分布式数据集(RDD)1. Spark重要概念本节部分内容源自官方文档:http://spark.apache.org/docs/latest/cluster-......
2024-01-23 14:05 阅读 阅读全文布莱恩特888擅长Java编程语言,Spark,Scala编程语言,等方面的知识,布莱恩特888关注spring,架构,linux,mysql,redis领域....
2023-10-10 03:03 阅读 阅读全文文章浏览阅读288次。文章目录1 Scala语言概述2 Scala基础知识3 面向对象编程基础4 函数式编程基础快速掌握Spark编程所需的Scala基础。1 Scala语言概述计算机的缘起形式系统:λ演算=图灵机计算机体系结构:冯·诺依曼2. 编程范式定......
2024-01-22 22:49 阅读 阅读全文xuejianbest擅长编程语言/Python,大数据/spark,编程语言/Java,等方面的知识...
2023-11-13 09:00 阅读 阅读全文文章浏览阅读221次。概念导入spark方法不同于scala,以及为了提高高并发和高吞吐的数据处理,封装3大数据结构:RDD 累加器 广播变量分布式计算模拟1.分布式计算模拟案例1(一个driver 和一个executor)package com.byxrs.spark_core.test_distribu......
2024-01-23 02:32 阅读 阅读全文