scrapy简单入门 - 爬取伯乐在线所有文章_mapcompose-CSDN博客

网站介绍:文章浏览阅读7.2k次,点赞2次,收藏15次。scrapy 的简单入门,使用 scrapy 爬取网站所有文章1. 分析网页结构2. 使用 css selector 的方法提取元素3. 开始 scrapy 工程4. 获取所有文章url,爬取文章数据5. 下载图片6. 使用 item 和 itemloader7. 将数据导出到 json 格式的文件中8. 将数据保存到 mysql 数据库中_mapcompose