文章浏览阅读977次。一、kafka简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司于2010年12月份开源,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服......
2024-01-24 15:47 阅读 阅读全文文章目录第1章·Zookeeper概述。1.1.概述。1.2·特点1.3·数据结构。1.4·应用场景。1.5·下载地址第2章·Zookeeper安装。2.1·本地模式安装部署。2.2·配置参数解读。第3章·Zookeeper内部原理。3.1·选举机制3.2·节点类型。3.3.stat 结构体3.4·......
2023-10-11 14:51 阅读 阅读全文FastDFS集群规划跟踪服务器负载均衡节点1:192.168.1.206 dfs-nginx-proxy-1 跟踪服务器负载均衡节点2:192.168.1.207 dfs-nginx-proxy-2 跟踪服务器1:192.168.1.200 dfs-tracker-1 跟踪服务器2:192.168.1.201 dfs-tracker-2 存储服务器1:192.168.1.2_ngx_http_f......
2023-10-13 07:00 阅读 阅读全文文章浏览阅读424次。前言学了两星期requests入门爬虫后,又学了一星期Scrapy。。然后,我就被迫强上分布式爬爬虫了。。也是应了一直以来我的学习心得,赶着DDL硬着头皮逼出来的,往往是学得最快的一个阶段。还记得那天下午......
2024-01-24 11:07 阅读 阅读全文文章浏览阅读489次。【Akka分布式编程】1. Akka框架 akka框架是actor模型的最佳实践 Akka是使用Scala语言编写的,基于Actor模型的框架。可以用来开发高并发、分布式、基于消息驱动的应用程序。 它被应用在Spark中以......
2024-01-23 18:37 阅读 阅读全文文章浏览阅读103次。错过今年面试机会的你,希望明年的三四月和九十月能够取得好成绩。以上这份P7整理的学习宝藏可以整理给你,祝你面试过三关斩六将。最后,无论是思维脑图、学习笔记还是面试考点都已整理好了,实际......
2023-11-11 16:54 阅读 阅读全文一、ZooKeeper 介绍与安装官网:https://zookeeper.apache.org/1. 介绍ZooKeeper 是 Apache 软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册 ZooKeeper 的架构通过冗余服务实现高可用性 Zookeeper ......
2023-10-09 22:57 阅读 阅读全文文章浏览阅读105次。所以Spark Application运行在YARN上时,采用不同DeployMode时架构不一样,企业实际生 产环境还是以cluster模式为主,client模式用于开发测试,两者的区别面试中常问。 1)、Driver在任务提交的本地机器上运行,Driver......
2024-01-24 04:51 阅读 阅读全文文章浏览阅读1.2k次,点赞3次,收藏6次。Spark安装配置文章目录Spark安装配置2.1 Spark安装2.2 本地模式2.3 伪分布式2.4 集群模式--Standalone模式2.4.1 Standalone 配置2.4.2 运行模式(cluster / client)2.1 Spark安装官网地址:http://spark.apache.org/文档......
2024-01-24 05:55 阅读 阅读全文文章浏览阅读467次。Spark是一个极为优秀的大数据框架,在大数据批处理上基本无人能敌,流处理上也有一席之地,机器学习则是当前正火热AI人工智能的驱动引擎,在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必......
2024-01-23 23:10 阅读 阅读全文