爬虫随笔(3):scrapy-redis分布式爬虫_redis3.2.100能够在scrapy_redis中使用吗-CSDN博客

网站介绍:文章浏览阅读424次。前言学了两星期requests入门爬虫后,又学了一星期Scrapy。。然后,我就被迫强上分布式爬爬虫了。。也是应了一直以来我的学习心得,赶着DDL硬着头皮逼出来的,往往是学得最快的一个阶段。还记得那天下午开始搞redis,网上其他大佬写的代码太高级没看懂,只好对着官方文档做些基础操作。搞到那天晚上11点多,分布式爬虫才总算动起来了,当晚一个通宵就把分布式爬虫框架做出来给组员整合代码..._redis3.2.100能够在scrapy_redis中使用吗