网友收藏大数据学习之路 Kafka篇_时域offset初始化-CSDN博客
文章浏览阅读174次。Kafka定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消......
网友收藏阅读全文
网友收藏网友收藏深圳云计算学习：大数据和云计算的关系是什么？_探讨云计算和你的专业和学习的关系？-CSDN博客
文章浏览阅读272次。深圳云计算学习：大数据和云计算的关系是什么？大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。大数据技术不断涌现和发展，让......
网友收藏大数据挖掘之Scala零基础学习（一）_scala multiply_10()-CSDN博客
文章浏览阅读680次。第5章 函数5.1函数程序代码： object section5_1 extends App { // def gcd(x:Int,y:Int):Int=if(x%y==0) y else gcd(y,x%y) //def关键字声明函数 gcd为函数名 x,y为函数参数 ：Int为返回值类型 def gcd(x:Int,y:Int):Int={ if(x%y..._scala multi......
网友收藏22.大数据学习之旅——scala手把手带你入门_scalca语法-CSDN博客
文章浏览阅读303次。Scala介绍Scala介绍官方网址：http://www.scala-lang.org官网对scala的介绍：Scala既是面向对象的语言，也是面向函数的语言。scala可以为你在做大量代码重用和扩展是提供优雅的层次结构，并可以通过高阶函数来实现......
网友收藏大数据学习22：大数据实时计算框架——Storm_市场上常用的实时计算框架有-CSDN博客
文章浏览阅读441次。一、大数据实时计算框架1、什么是实时计算？流式计算？ 举例：自来水厂处理自来水（特点：持续性、流式计算）)2、对比：离线计算和流式计算 （*）离线计算：MapReduce和Spark Core， 数据的批量处理（Sqoop-......
网友收藏大数据技术之_16_Scala学习_01_Scala 语言概述-CSDN博客
文章浏览阅读243次。第一章 Scala 语言概述1.1 why is Scala 语言?1.2 Scala 语言诞生小故事1.3 Scala 和 Java 以及 jvm 的关系分析图1.4 Scala 语言的特点1.5 Windows 下搭建 Scala 开发环境1.6 Linux 下搭建 Scala 开发环境1.7 Scala 的开发工具1.7.1 IDEA介......
网友收藏大数据技术之_19_Spark学习_03_Spark SQL 应用解析小结-CSDN博客
文章浏览阅读154次。========== Spark SQL ==========1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。2、Spark SQL 的特点： （1）和 Spark Core 的无缝集......
网友收藏【大数据学习】之 Spark-RDD core3_groubbykey redcebykey-CSDN博客
文章浏览阅读152次。SparkCore03一． Spark Glossary ( Spark术语 )GlossaryThe following table summarizes terms you’ll see used to refer to cluster concepts:Term MeaningApplication User program built on Spark. Con..._groubbykey redcebykey...
网友收藏大数据学习12：MapReduce案例1-模拟多表查询(等值连接，自连接)_mapreduce等值连接-CSDN博客
文章浏览阅读569次。MapReduce编程案例一、MapReduce的核心：Shuttle 1、Hadoop 3.x以前：会有落地（产生I/o操作）二、MapReduce编程案例：顺便复习关系型数据库的相关知识（SQL等等） 1、数据去重 （*）复习SQL：distinct实现去重......
网友收藏【大数据学习】之 SparkSQL概述_spark sql提供了访问各种数据源的常用方法,以相同的方式连接到hive、hbase等数据-CSDN博客
文章浏览阅读267次。Spark SQL概念和用途看官网介绍，Spark SQL是Apache Spark用于处理结构化数据的模块。一、集成将SQL查询与Spark程序无缝混合。Spark SQL允许您使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数据。可用于Java，Scala......
