模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中-CSDN博客

网站介绍:1.采集日志文件时一个很常见的现象采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中。1.1.根据需求,首先定义一下3大要素:采集源,即source—监控日志文件内容更新:exec ‘tail -F file’ 下沉目标,即sink—HDFS文件系统:hdf...