文章浏览阅读2.4k次。文章目录输出到文件Sink 在 Flink 中代表了将结果数据收集起来、输出到外部的意思,所以我们这里统一把它直观地叫作“输出算子”。之前我们一直在使用的 print 方法其实就是一种 Sink,它表示将数据流写......
2024-01-24 04:19 阅读 阅读全文文章浏览阅读2.2k次,点赞3次,收藏9次。水位线是一种特殊的事件,由程序员通过编程插入的数据流里面,然后跟随数据流向下游流动。_flink 水位线extracttimestamp的 recordtimestamp 是什么...
2024-01-23 05:10 阅读 阅读全文文章浏览阅读673次。一、批处理public class wordCount { public static void main(String[] args) throws Exception { // 创建执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // 从文件中读取数据 String inputPath = ......
2024-01-23 05:10 阅读 阅读全文文章浏览阅读766次。目录Flink 并行度并行数据流任务槽和资源共享槽位如何判断Flink需要使用多少资源Flink 并行度package com.shujia.flink.coreimport org.apache.flink.streaming.api.datastream.DataStreamSinkimport org.apache.flink.streaming.api.scala._obje..._资源......
2024-01-24 00:21 阅读 阅读全文文章浏览阅读766次。目录Flink 并行度并行数据流任务槽和资源共享槽位如何判断Flink需要使用多少资源Flink 并行度package com.shujia.flink.coreimport org.apache.flink.streaming.api.datastream.DataStreamSinkimport org.apache.flink.streaming.api.scala._obje..._资源......
2024-01-24 00:21 阅读 阅读全文文章浏览阅读766次。目录Flink 并行度并行数据流任务槽和资源共享槽位如何判断Flink需要使用多少资源Flink 并行度package com.shujia.flink.coreimport org.apache.flink.streaming.api.datastream.DataStreamSinkimport org.apache.flink.streaming.api.scala._obje..._资源......
2024-01-24 00:21 阅读 阅读全文文章浏览阅读1.7k次。本章主要实现一个 Flink 开发的入门程序——词频统计 WordCount。通过批处理和流处理 两种不同模式的实现,可以对 Flink 的 API 风格和编程方式有所熟悉,并且更加深刻地理解批 处理和流处理的不同。另外,......
2024-01-23 03:00 阅读 阅读全文文章浏览阅读776次。1- 什么是Flink State状态计算简介: Flink之所以能这么流行,离不开它最重要的四个基石:Checkpoint、State、Time、Window。1)、窗口Window和时间Time(事件时间)2)、状态State和检查点Checkpoint状态计算:流式计算中......
2024-01-23 11:29 阅读 阅读全文文章浏览阅读424次。目录Flink WordCount导入依赖WordCount 代码打开Flink的日志输出1、导入log4j的依赖2、将log4j的配置文件放在项目的resources目录下Spark WordCount 和 Flink WordCount 的运行流程对比Flink WordCount导入依赖<properties> <......
2024-01-24 00:22 阅读 阅读全文文章浏览阅读321次。Flink作为大数据生态中重要的一个组件,现在在实时流处理方面占据着很重要的地位,其实时流处理方面支持基于事件的时间流处理方式,另外也推荐流批一体化,而现在处理实时数据较常用的架构 Flink + Kafk......
2024-01-22 14:55 阅读 阅读全文