文章浏览阅读98次。1、复制es的安装文件,注意,将其中的data目录删除。以本机三个节点为例。2、配置每个节点添加配置信息:node1配置信息:cluster.name: my_ES_clusternode.name: es_node1network.host: 127.0.0.1http.port: 9201transport.tcp.port: 9301dis......
2024-01-23 09:37 阅读 阅读全文文章目录为什么要搭建ELKELK Stack的介绍ELK Stack的架构图es介绍基本概念es基础环境搭建为什么要搭建ELK介绍: ELK是es,logstash和kibana三者的组合,他们是同一家公司开发的,在企业中经常用于进行日志采集为啥搭建ELK呢?开发人员......
2023-10-14 04:14 阅读 阅读全文文章浏览阅读275次。1、创建索引添加数据put /test_index/test_type/1{ "test_field1": "test field1", "test_field2": "test field2"}get /test_index/test_type/1{ "_index": "test_index", "_type": "test_type"......
2024-01-24 08:08 阅读 阅读全文文章浏览阅读275次。1、创建索引添加数据put /test_index/test_type/1{ "test_field1": "test field1", "test_field2": "test field2"}get /test_index/test_type/1{ "_index": "test_index", "_type": "test_type"......
2024-01-24 08:09 阅读 阅读全文文章浏览阅读4.9k次,点赞5次,收藏19次。本文介绍saprk实时部分----spark-streaming。spark-streaming可以实现实时批处理功能,实际上还是相当于小的批处理,但是是7*24工作,可以近实时但需要维护成本。本文里的用java写的demo,实现......
2024-01-23 23:12 阅读 阅读全文文章浏览阅读1.5k次。在本次实验中,利用spark、elasticsearch、kafka等相关框架搭建一个实时计算系统。具体流程如下图所示,用户访问对应服务,由nginx服务器进行负载均衡访问具体的主机上的服务,访问过程中将产生用户具体的......
2024-01-22 14:49 阅读 阅读全文文章浏览阅读1.9k次。前言最近sparksql写入elasticsearch数据量逐渐增大,所以需要优化写入的速度.先说一下集群情况.es集群:elasticsearch-6.2.4, 机器配置:5台4C*16G阿里云机器.spark: 2.1.3.优化方向从spark参数和es索引两个方向进行优化spark参......
2024-01-24 05:53 阅读 阅读全文文章浏览阅读357次。这个问题我是这样想的的首先我是5分钟采集一次。然后记录好每五分钟采集的的条数,es的index,采集的时间段。采集成功了就写入到mysql表中做记录。然后如果是因为异常采集失败了。重新启动先去mysql读取......
2024-01-23 22:23 阅读 阅读全文文章浏览阅读1.6k次。准备kafka、logstash 、es 环境并启动服务,参考之前的文章这里不重复启动zookeeper:启动kafka:假设日志格式如下,包括基本字段(时间、IP、级别等)和业务字段(字段1,字段2,字段3)。消费消息并打印配......
2024-01-23 03:38 阅读 阅读全文文章浏览阅读691次。目录1 ElasticSearch第1节 ELK1.1 集中式日志系统1.2 ELK 协议栈介绍及体系结构ElasticsearchLogstashKibana1.3 Elk整体架构1.4 参考文档第2节 Elasticsearch2.1 什么是ElasticSearch2.2 ElasticSearch使用案例2.3 ElasticSearch对比Solr2.4 Elasticse......
2023-11-11 18:10 阅读 阅读全文