文章浏览阅读198次。搭建Hadoop的环境2019年3月25日 星期一今日头条App多频道超24小时未更新,字节跳动回应:很快恢复京东汽车业务自有品牌“京安途”正式上线,深挖汽车后市场李嘉诚旗下欧洲电信运营商“3公司”力挺华为,......
2024-01-23 01:15 阅读 阅读全文文章浏览阅读238次。函数式编程的概念编程范式函数式编程是一种编程范式,我们常见的编程范式有:1)命令式编程(Imperative programming),常见的面向对象编程是也是一种命令式编程。比如java,c等。命令式编程是完全依托于......
2024-01-23 02:45 阅读 阅读全文文章浏览阅读1.7k次。一、HA概述1)所谓HA(High Availablity),即高可用(7*24小时不中断服务)。2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。3)Hadoop2.0之前,在HDFS集群中......
2024-01-24 05:56 阅读 阅读全文文章浏览阅读992次。大数据技术之_16_Scala学习_03_假如还有97天放假,问:xx个星期零xx天 scala编程...
2024-01-22 19:34 阅读 阅读全文Hive进阶函数之【分割函数(split)、行转列函数(explode)、lateral view】1、split 函数—分割2、explode函数—行转列2.1 用于array类型的数据2.2 用于map类型的数据2.3 如何将其用入string类型的数据2.4 explode函数的局限性3、lateral view作用: ......
2023-10-11 20:53 阅读 阅读全文文章浏览阅读1k次。Tez是一个Hive的运行引擎,性能优于MR1)将tez安装包拷贝到集群,并解压tar包 mkdir /opt/module/tez tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez2)上传tez依赖到HDFS hadoop fs -mkdir /tez hadoop fs -put /opt/softw......
2024-01-24 05:58 阅读 阅读全文文章浏览阅读333次。随着大数据开发的发展,越来越多的人想要转行或者学习大数据开发这一块,工资和发展前景都让大家越来越看好。而kafka作为一个核心模块,是学习过程的一个要点知识,今天我们就一起来看一下关于Kafka......
2024-01-22 14:26 阅读 阅读全文文章浏览阅读1.3k次。文章目录简介那么这种题目或者这种问题到底解决的难点和关键点是什么?相关解法:真正的最优解。scala版本简介什么是TopN问题?举个例子:怎么在几十亿的数字中找到前50个数字(升序或者降序)。诸如......
2024-01-23 13:57 阅读 阅读全文文章浏览阅读409次。1、Scala六大特性java和scala可以无缝混编(都是基于JVM)类型推测(不必指定类型,自动推测类型)支持并发和分布式(Actor)特质:trait(集结了java中抽象类和接口的产物)模式匹配(match case :类似于java中......
2024-01-22 14:51 阅读 阅读全文文章浏览阅读89次。一 概述1.1 什么是搜索?1.2 如果用数据库做搜索会怎么样?1.3 什么是全文检索和 Lucene?1.4 什么是 Elasticsearch?1.5 Elasticsearch 的适用场景1.6 Elasticsearch 的特点1.7 Elasticsearch 的核心概念1.7.1 近实时1.7.2 Cluster(集......
2024-01-22 22:00 阅读 阅读全文