大数据分析需要什么技术架构_数据分析技术架构-CSDN博客

网站介绍:文章浏览阅读318次。  在不同的业务场景下,需要根据实际的业务需求,选择适合自己的技术框架,来搭建自己的大数据架构体系。但是从技术架构体系的共性来说,是可以从通用的技术模块去理解,来帮助我们更好地理解大数据技术架构的。  大数据分析技术架构通用模块  数据收集模块:主要负责收集各种数据源的数据,包括日志文件、网络请求、数据库、消息队列等,并将这些数据转换为文件或者消息向后传递。  数据转存模块:主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。  ETL模块:主要负责数据的清洗、格式和内容的处_数据分析技术架构