一分钟带你了解分布式集群采集_分布式采集数据-CSDN博客

网站介绍:文章浏览阅读3.1k次。数据采集一般可分为两种:集中式数据采集和分布式数据采集。我们通常所说的采集某个或某些平台上的数据一般属于集中式采集,指的是一个爬虫采集一个或多个网站的情况。那么什么是分布式集群采集呢?在此之前我们先来了解什么是分布式。举个例子:你开发一个网站想要别人访问,这就需要把网站部署到服务器上,如下图所示:当网站用户增多的时候,原来部署的服务器就不满足需求了。这时就需要把网站部署到各个服务器上,如下图所示:这种情况我们称之为:集群,即把整个网站的所有_分布式采集数据