文章浏览阅读95次。mapreduce的计算原理1. mapreduce 简介mapreduce源自google的一篇文章，将海量数据处理的过程拆分为map和reduce。mapreduce 成为了最早的分布式计算框架，这样即使不懂的分布式计算框架的内部运行机制的用户，也可以......

【排障】log4j:WARN No appenders could be found for logger,【配置】hadoop、zookeeper、kafka的启动/停止脚本编写,【排障】hadoop104重启后就ping不通，集群无法建立,flume,hadoop,hive...

必须要掌握的Scala技术点（五）Scala高阶函数、方法、柯里化、隐式转换,必须要掌握的Scala技术点（四）Scala模式匹配和样例类（case class）,必须要掌握的Scala技术点（三）类、对象（伴生对象）、apply和unapply方法、继承和trait,scala...

采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs,使用agent串联根据需求，首先定义以下3大要素第一台flume agentl 采集源，即source——监控文件内容更新 : exec ‘tail ......

文章浏览阅读2.7k次。ThriftServer1、启动，[hadoop@hadoop001 sbin]$ ./start-thriftserver.sh查看是否启动成功jps-m查看UI界面2、通过客户端beeline来连接a、进入 /home/hadoop/app/spark-2.3.1-bin-2.6.0-cdh5.12.0/binb、[hadoop@hadoop001 b..._thriftserver...

Scala 基础语法1.1 声明变量1）以 val 定义一个常量（无法改变其内容）：scala> val name="zhangsan"name: String = zhangsanscala> name="lisi"<console>:12: error: reassignment to val name="lisi" ^2）以 var 定义一个可......

0.什么是Scala? Scala是运行在 JVM 上的多范式编程语言， 同时支持面向对象和面向函数编程,早期， scala刚出现的时候， 并没有怎么引起重视， 随着Spark和Kafka这样基于scala的大数据框架的兴起， scala逐步进入大数据开发者的眼帘。......

时代Java致力于打造以Java，Web，Android，数据库，大数据为主及周边技术的交流分享学习社区、系列完整教程和实例。营造原创教程分享学习技术生态圈，专注于提高开发者的技术影响力，让开发者与时代同行。...

文章浏览阅读595次。对于大数据稍有了解的人应该知道，大数据主要的编程语言，是使用Java来完成的，而Java之外，掌握一定的Scala，在大数据开发学习当中，能够更好地掌握相关技术框架。那么Scala对于大数据开发重要吗？今天......

RashaunHan擅长大数据,JAVA笔记,JAVA学习中的问题,等方面的知识...