基于Spark streaming的SQL服务实时自动化运维_spark 调数据 实现自动化-CSDN博客

网站介绍:文章浏览阅读2.1k次。设计背景spark thriftserver目前线上有10个实例,以往通过监控端口存活的方式很不准确,当出故障时进程不退出情况很多,而手动去查看日志再重启处理服务这个过程很低效,故设计利用Spark streaming去实时获取spark thriftserver的log,通过log判断服务是否停止服务,从而进行对应的自动重启处理,该方案能达到秒级 7 * 24不间断维护服务。设计架构在需要检测的_spark 调数据 实现自动化