网友收藏 文章浏览阅读1.3k次。发现问题执行以下SQL查询:报错,第54行出现问题:分析问题1、一开始以为是字母没有大写的问题,于是将所有关键字都改为大写,但仍然报同样的错误。2、检查SQL语句的语法,也没有问题,标点符号也都......
2024-01-23 05:10 阅读
阅读全文 网友收藏 文章浏览阅读977次。@R星校长大数据技术之Flink第一章 初识Flink 在当前数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。目......
2024-01-23 08:29 阅读
阅读全文 网友收藏 文章浏览阅读111次。文章目录1 概念2 使用2.1 pom文件2.2 使用2.3 Pattern API3 案例3.1 检测连续三次登录失败的事件3.2 订单超时检测1 概念一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规......
2024-01-23 02:41 阅读
阅读全文 网友收藏 文章浏览阅读93次。九.数组操作 val arr = Array(Array(1, 2, 5, 4), Array(3, 6, 7, 8), Array(9, 10)) //flatten只能一次压一层 val flatten = arr.flatten println(flatten.toBuffer) val lines = Array("spark hadoop flink spark", "spark spark flink", "s......
2024-01-23 20:02 阅读
阅读全文 网友收藏 文章浏览阅读1.6k次。目录第一部分 Flink 概述第 1 节 什么是 Flink第 2 节 Flink 特点第 3 节 Flink 应用场景3.1 事务型处理3.2 分析型处理第 4 节 Flink 核心组成及生态发展4.1 Flink核心组成4.2 Flink生态发展第 5 节 Flink 处理模型:流处理与......
2023-11-11 18:09 阅读
阅读全文 网友收藏 文章浏览阅读1.9k次。1.状态编程介绍1.1 有状态计算和无状态计算流式计算分为无状态和有状态两种情况:(1)无状态的计算基于每个独立事件给出每个事件的结果例如,流处理应用程序从传感器接收温度读数,并在温度超过90......
2024-01-23 08:42 阅读
阅读全文 网友收藏 文章浏览阅读1.7k次。mr的shuffle分为map的shuffle和reduce 的shuffleMap的Shuffle 数据存到hdfs中是以块进行存储的,每一个块对应一个分片,maptask就是从分片中获取数据的。在某个节点上启动了mapTask,mapTask读取是通过k-v来读取的,读取的数......
2024-01-25 06:42 阅读
阅读全文 网友收藏 文章浏览阅读5.2k次。@羲凡——只为了更好的活着Flink 读取kafka数据写入Pulsar(含报错The implementation of the RichSinkFunction is not serializable)开始之前务必检查自己kafka、pulsar和flink的版本,在pom中添加正确依赖本人kafka(0.11)、pulsar(2.4.1)和......
2023-11-11 12:00 阅读
阅读全文 网友收藏 文章浏览阅读1.3k次。在写Flink实例时,遇到将case class 样例类转换为jsonObject后,在添加到es sink source中时,报错java.lang.NoSuchFieldError: FAIL_ON_SYMBOL_HASH_OVERFLOW。问题总结出现以下问题的原因是jar包的依赖版本问题。解决该问题需要......
2024-01-22 14:49 阅读
阅读全文 网友收藏 文章浏览阅读1.1k次。Flink执行jar报错:java.io.IOException: Error opening the Input Split file 或者 java.io.FileNotFoundExceptio_error opening the input split file:/users/wenweiwei/downloads/flink/0101 [0,...
2024-01-23 23:52 阅读
阅读全文