文章浏览阅读916次。CDC有两种方式,一种是离线的,一种是实时的,也就是一种是基于查询的,一种是Binlog的这种方式。CDC 是Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表......
2024-01-24 04:20 阅读 阅读全文文章浏览阅读6.9k次。1、DataStream API(一):Data Sink1.1、Data Sink介绍sink是程序的数据输出,可以通过StreamExecutionEnvironment.addSink(sinkFunction)来为程序添加一个sink。flink提供了大量的已经实现好的sink方法,也可以自定义sink1.2、Data Sin......
2024-01-23 03:49 阅读 阅读全文文章浏览阅读382次。简介:2020-5-20 阿里巴巴官网发布Flink 1.13.0 版本,可以让流处理应用的使用像普通应用一样简单和自然,并且让用户可以更好地理解流作业的性能。重要特性被动扩缩容Flink 项目的一个初始目标,就是希望流......
2024-01-23 11:29 阅读 阅读全文文章浏览阅读266次。文章目录SpringCloud Config 分布式配置中心1. 概述1.1 分布式系统面临的---配置问题1.2 是什么1.3 能干嘛2. Config服务端配置与测试2.1 在父项目中创建 cloud-config-center3344 配置中心服务module1. 修改 pom2. 编写yaml配置文......
2024-01-23 06:24 阅读 阅读全文文章浏览阅读2.2k次。下载scala包将Scala包下载至windowshttps://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.zip解压Scala包其中最重要的就是以下的这些jar包创建maven项目傻瓜式操作就行配置Scala有两种办法一种是直接在pom.xml文件中加入相......
2024-01-21 12:33 阅读 阅读全文文章浏览阅读358次。文章目录1 时间(Time)语义2 在代码中设置 Event Time3 水位线3.1 水位线的概念3.1.1 乱序数据的影响3.1.2 水位线(Watermark)3.1.3 watermark 的特点3.1.4 watermark 的传递3.1.5 水位线计算公式3.1.6 watermark 的引入3.1.6.1 Timest......
2024-01-23 02:41 阅读 阅读全文文章浏览阅读3.5k次。实现无并行度的自定义Source1、run方法重写(主要的方法):启动一个source注意:继承接口 SourceFunction的时候需要指定泛型,否则会报错如:SourceFunction,即run中产生的数据类型SourceFunction 和 SourceContext 都需......
2024-01-23 03:49 阅读 阅读全文资源浏览查阅95次。赠送jar包:flink-scala_2.11-1.10.0.jar;赠送原API文档:flinkscala2.11java版本更多下载资源、学习资料请访问CSDN文库频道....
2024-01-22 17:11 阅读 阅读全文文章浏览阅读206次。Table API 和 Flink SQLTable API 和 Flink SQL 是什么• Flink 对批处理和流处理,提供了统一的上层 API• Table API 是一套内嵌在 Java 和 Scala 语言中的查询API,它允许以非常直观的方式组合来自一些关系运算符的查询• F......
2024-01-23 02:35 阅读 阅读全文文章浏览阅读1.1w次,点赞5次,收藏5次。由于有效的状态访问对于处理数据的低延迟只管重要,因此每个并行任务都会在本地维护其状态,以确保快速的状态访问。状态的存储、访问以及维护,有一个可插入的组件决定,这个组......
2024-01-22 17:39 阅读 阅读全文