Flink在大数据处理上,是流批一体的框架,针对于各种场景下的数据处理,也有一套Flink SQL的操作思路。今天的大数据开发学习分享,我们就来讲讲基本的Flink SQL快速入门。Flink SQL,就是直接可以在代码中写SQL,来实现一些查询......
2023-10-10 03:03 阅读 阅读全文文章浏览阅读5k次,点赞2次,收藏34次。需求分析主要针对直播/短视频平台审核指标的统计统计不同大区每1 min内过审(上架)的数据量统计不同大区每1 min内未过审(下架)的数据量统计不同大区每1 min内加黑名单的数据量..._flink 实......
2024-01-23 03:49 阅读 阅读全文文章浏览阅读651次。Flink开发环境准备和API代码案例,学习基本的Flink,动手尝试可以发现细节问题,收获更多!_c# flink...
2024-01-22 14:55 阅读 阅读全文文章浏览阅读321次。Flink作为大数据生态中重要的一个组件,现在在实时流处理方面占据着很重要的地位,其实时流处理方面支持基于事件的时间流处理方式,另外也推荐流批一体化,而现在处理实时数据较常用的架构 Flink + Kafk......
2024-01-22 14:55 阅读 阅读全文文章浏览阅读1.4k次,点赞3次,收藏5次。Flink: 分布式、高性能框架,支持实时模式和批处理模式一、Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎和Storm/Spark Streaming一样,定位于流式处理系......
2024-01-22 14:55 阅读 阅读全文文章浏览阅读1.3w次,点赞10次,收藏107次。1、应用场景分析数据清洗【实时ETL】数据报表1.1、数据清洗【实时ETL】1.1.1、需求分析针对算法产生的日志数据进行清洗拆分算法产生的日志数据是嵌套大JSON格式(json嵌套json),需要......
2024-01-23 03:49 阅读 阅读全文文章浏览阅读417次。flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink的编程模型。数据集类型: 无穷数据集:无穷的持续集成的数据集合 有界数据集:......
2024-01-22 14:12 阅读 阅读全文羽落风起擅长大数据,flink,开发日常,等方面的知识,羽落风起关注spring,flink,python,java,spark,golang,hadoop,hbase,eclipse领域....
2023-10-10 03:31 阅读 阅读全文文章浏览阅读447次。Flink 流处理高阶编程实战案例基于埋点日志数据的网络流量统计指定时间范围内网站总浏览量(PV)的统计指定时间范围内网站独立访客数(UV)的统计电商数据分析实时热门商品统计基于服务器log的热门页......
2024-01-23 19:50 阅读 阅读全文文章浏览阅读447次。Flink 流处理高阶编程实战案例基于埋点日志数据的网络流量统计指定时间范围内网站总浏览量(PV)的统计指定时间范围内网站独立访客数(UV)的统计电商数据分析实时热门商品统计基于服务器log的热门页......
2024-01-23 19:50 阅读 阅读全文