文章浏览阅读402次。第三章 流程控制语句3.1 简介3.2 条件判断语句（if 语句）3.2.1 if 语句3.2.2 input 函数3.2.3 if-else 语句3.2.4 if-elif-else 语句3.2.5 if 练习3.3 循环语句（while 语句 + for 语句）3.3.1 while 循环3.2.2 while 练习3.4 循环嵌套3.5 br......

文章浏览阅读376次。第1章 Spark SQL概述1什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然......

文章浏览阅读4.5k次。大数据代表技术：Hadoop、Spark、Flink、BeamHadoop：从2005年到2015年，说到大数据都是讲hadoop。Hadoop是一整套的技术框架，不是一个单一软件，它是一个生态系统。Hadoop有两大核心：第一个是它解决了分布式存储......

文章浏览阅读103次。1. scala语言的特点？scala是一门以java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。1）scala是一门多范式的编程语言，scala支持面向对象和函数式编程。2）scal......

文章浏览阅读1k次，点赞4次，收藏3次。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程......

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了......

文章浏览阅读1.5k次，点赞3次，收藏5次。Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分......

Hadoop使用Apache Hadoop YARN（Yet Another Resource Negotiator）作为通用资源管理系统，可为上层应用提供统一的资源管理和调度。除了MapReduce，YARN还可以支持其他编程计算框架，如Spark、Storm等，它的引入为集群在利用率、资源统一管理和......

文章浏览阅读1.8k次。第2章Scala语言基础2.1 Scala语言概述2.2 Scala基础知识2.3 Scala面向对象编程基础2.4 Scala函数式编程基础2.1 Scala语言概述2.1.1 计算机的缘起2.1.2 编程范式2.1.3 Scala简介2.1.1 计算机的缘起数学家阿隆佐•邱奇(Alonzo Chur......

文章浏览阅读1k次。1、首先打开当当网，点击好评榜，选择近30日，此时浏览器中的URL复制一下，备用http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-12、每一页显示20本书，点击下一页可以发现URL变化了，但是只有最后......