网站介绍：文章浏览阅读1.4k次，点赞2次，收藏20次。前面讲解了Scrapy中各个模块基本使用方法以及代理池、Cookies池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下Scrapy的大规模爬取。一、本节目标本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至MongoDB。二、准备工作请确保前文所讲的代理池、Cookies池已经实现并可以正常运行，安装Scrapy、..._self.logger.debug(response.text)
- 链接地址：https://blog.csdn.net/weixin_33937778/article/details/88050324
- 链接标题：Scrapy框架的使用之Scrapy爬取新浪微博-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：662
- 网站标签：self.logger.debug(response.text)
