文章浏览阅读6.8k次,点赞5次,收藏17次。一、Flink 基本概念Flink 是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处......
2024-01-24 20:41 阅读 阅读全文文章浏览阅读842次。概念流计算:实时获取来自不同数据源的海量数据,经过实时分析处理,获得有价值的信息。流计算秉承一个基本理念,即数据的价值随着时间的流逝而降低,如用户点击流。因此,当事件出现时就应该立即......
2024-01-22 23:12 阅读 阅读全文文章浏览阅读4.3k次。这篇文章由一次平安夜的微信分享整理而来。在Stuq 做的分享,原文内容。 业务场景这次分享会比较实战些。_spark 流计算实战...
2024-01-22 23:12 阅读 阅读全文文章浏览阅读1.4w次,点赞8次,收藏41次。 理解storm、spark streamming等流式计算的数据来源、理解JMS规范、理解Kafka核心组件、掌握Kakfa生产者API、掌握Kafka消费者API。对流式计算的生态环境有深入的了解,具备流式计算项目架......
2024-01-22 23:12 阅读 阅读全文文章浏览阅读906次。流式计算特点:数据是⽆界的(unbounded)数据是动态的计算速度是⾮常快的计算不⽌⼀次计算不能终⽌相对应,离线计算特点:数据是有界的(Bounded)数据静态的计算速度通常较慢计算只执⾏⼀次计算终会终⽌在......
2024-01-22 23:12 阅读 阅读全文流计算的搜索结果-阿里云开发者社区-阿里云开发者社区是阿里云唯一官方开发者社区,是提供给开发者认知、交流、深入、实践一站式社区,提供工具资源、优质内容、学习实践、大赛活动、专家社群,让开发者畅享技术之美......
2024-09-13 07:04 阅读 阅读全文文章浏览阅读1.5k次。What it isSpark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据源有很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP......
2024-01-22 23:12 阅读 阅读全文文章浏览阅读3.2k次。Spark产生的原因:1、MapReduce具有很多的局限性,仅支持Map和Reduce两种操作,还有迭代效率比较低,不适合交互式的处理,不擅长流式处理。2、现有的各种计算框架各自为战。Spark就是在一个统一的框架下能......
2023-11-12 00:29 阅读 阅读全文文章浏览阅读2.8k次。本文主要从一下几个方面来介绍流计算处理流程:概述数据实时采集数据实时计算实时查询服务概述传统的数据处理流程,需要先采集数据并存储在关系数据库等数据管理系统中,之后由用户通过查询操作......
2024-01-22 23:12 阅读 阅读全文