文章浏览阅读3.1k次。AboutI will try to give the mainline of how does Flink task works.Main classes and methods are mentioned.Format explainationthis is Class this is method()this is constantTask ExecutionTask Compone_error:execution failed for task ':app:greendao'. > constructor (see goo......

文章浏览阅读3k次。问题flink SQL连接hive以及hudi 报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V，查询资料后发现就是guava版本冲突造成的。hive 3.1.2版本内置的guava是19.0版本的，而ha......

1 Standalone ClusterMaster-Slave架构，JobManager运行在Master节点，TaskManager运行在Slave节点，与HDFS/Hadoop无关Active JobManager挂掉时，通过Zookeeper选举多个StandByJobManager成为Active JobManager来保证高可用2 Yarn Cluster 【一个作业只运行一个JobManager......

Flink在大数据处理上，是流批一体的框架，针对于各种场景下的数据处理，也有一套Flink SQL的操作思路。今天的大数据学习分享，我们就来讲讲基本的Flink SQL快速入门。 Flink SQL，就是直...

文章浏览阅读1.8k次，点赞8次，收藏11次。随着不断删除snapshot，在Iceberg表不再有manifest文件对应的parquet文件也会被删除。Iceberg表每次commit都会生成一个parquet数据文件，有可能一张Iceberg表对应的数据文件非常多，那么我们通过Ja......

文章浏览阅读698次。Flink-yarnFlink-yarn 服务环境高级配置代码段（安全阀）Flink-yarn（服务范围）HADOOP_USER_NAME=flinkHADOOP_CONF_DIR=/etc/hadoop/confHADOOP_HOME=/opt/cloudera/parcels/CDHHADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*flink-conf.properties 的 Flink Yarn......

文章浏览阅读833次。使用的是log4j的方式，因为需要对log做收集处理，方便后续排查问题和告警， 其实在spark中更加的有用， 正常在yarn-cluster中，spark是没法去查看log， 只有等到这个job停掉后， 再去使用yarn logs -applicationId applica......

文章浏览阅读2.3k次。flink 自定义udf，udtf1、标量函数2、表函数3、聚合函数4、表聚合函数1、在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为 Scala 的 Table API 注册函数。2、函数通过调用 regist......

文章浏览阅读1.5k次，点赞2次，收藏19次。一、引言1.1 目的  编写此文档的目的是确认舆情分析系统的需求及系统边界，指导系统的设计。1.2 项目信息项目名称：舆情分析系统项目提出者：指导教师开发者：东北大学软件学院......

文章浏览阅读1.7k次。 Flink中的DataStream程序是对数据流进行转换的常规程序（例如，过滤，更新状态，定义窗口，聚合）。数据流的最初的源可以从各种来源(例如，消息队列，套接字流，文件)创建，并通过sink返回结果，例......