网友收藏 文章浏览阅读805次。时间语义 & WaterMark一、Flink中的时间语义1. 三种时间语义2.时间语义的使用3.事件时间的功能Watermark1. 数据乱序2. waterMark的提出3. waterMark生成规则4. WaterMark的特点5. waterMark的作用6. waterMark生成演示7. 如何在......
2024-01-23 08:39 阅读
阅读全文 网友收藏 文章浏览阅读805次。时间语义 & WaterMark一、Flink中的时间语义1. 三种时间语义2.时间语义的使用3.事件时间的功能Watermark1. 数据乱序2. waterMark的提出3. waterMark生成规则4. WaterMark的特点5. waterMark的作用6. waterMark生成演示7. 如何在......
2024-01-23 08:39 阅读
阅读全文 网友收藏 文章浏览阅读1w次。1.Flink提价任务,读取Hbase数据和hdfs数据,需要单独倒入一些hbase的依赖jar,所以加入了maven依赖,本地能正常测试运行,但是发布到yarn上运行报错,所以测试读取hdfs文件的时候,去掉依赖就可以了。2.加入打......
2024-01-23 04:33 阅读
阅读全文 网友收藏 文章浏览阅读1w次。1.Flink提价任务,读取Hbase数据和hdfs数据,需要单独倒入一些hbase的依赖jar,所以加入了maven依赖,本地能正常测试运行,但是发布到yarn上运行报错,所以测试读取hdfs文件的时候,去掉依赖就可以了。2.加入打......
2024-01-23 04:34 阅读
阅读全文 网友收藏 文章浏览阅读1w次。1.Flink提价任务,读取Hbase数据和hdfs数据,需要单独倒入一些hbase的依赖jar,所以加入了maven依赖,本地能正常测试运行,但是发布到yarn上运行报错,所以测试读取hdfs文件的时候,去掉依赖就可以了。2.加入打......
2024-01-23 04:34 阅读
阅读全文 网友收藏 文章浏览阅读215次。目录Flink State and CheckpointStateValueStateCheckpoint通过checkpoint来恢复之前的状态1、从 Flink web 页面2、通过flink命令StateListStateReducingStateFlink State and CheckpointFlink 通过 State 和 Checkpoint 来实现容错和数据处理的唯一一......
2024-01-24 00:21 阅读
阅读全文 网友收藏 Direction_Wind擅长flink原理技术与源码二次开发,集群分析优化与开发工具,报错调试记录,等方面的知识,Direction_Wind关注flink,数据仓库领域....
2023-10-10 04:21 阅读
阅读全文 网友收藏 文章浏览阅读2.5k次,点赞2次,收藏11次。1、状态(State)管理与恢复1.1、状态(State)我们前面写的word count的例子,没有包含状态管理。如果一个task在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算......
2024-01-23 03:49 阅读
阅读全文 网友收藏 目录1 预定义Sink1.1 基于控制台和文件的Sink2 自定义Sink2.1 MySQL3. Connectors3.1 JDBC3.2 Kafka3.2.1 pom依赖3.2.2 参数设置3.2.3 参数说明3.2.4 Kafka命令3.2.5 代码实现-Kafka Consumer3.2.6 代码实现-Kafka Producer3.3 Redis1 预定义Sink1.1 基于控制台和文件的S......
2023-10-11 21:14 阅读
阅读全文 网友收藏 文章浏览阅读427次。ResultSet executeQuery(String sql); 执行SQL查询,并返回ResultSet 对象。 intexecuteUpdate(String sql); 可执行增,删,改,返回执行受到影响的行数。 booleanexecute(String sql); 可执行任何SQL语句,返回一个布尔值,表示是否......
2024-01-21 09:29 阅读
阅读全文