网站介绍：文章浏览阅读401次。robots协议一些网站有着robots协议，规定着哪些内容爬虫不可以爬取，以亚马逊为例：当然爬不爬取取决于爬虫本身首先，我们要找到一个合适的请求头，举个例："python-requests/2.22.0"这是爬虫的"Uesr-Agent"，用这个可能会被部分网站拦截，或者爬取不到想要的东西，这时就要模拟headers查看请求头的方法（以谷歌浏览器为例）：点击右键，找到审查元素找到Network，随便点一个Path，再点headers，就看到请求头了用爬虫模拟用户请求import requ_如何模拟多用户请求爬虫
- 链接地址：https://blog.csdn.net/m0_52032201/article/details/113702576
- 链接标题：爬虫模拟用户请求讲解_如何模拟多用户请求爬虫-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：6285
- 网站标签：如何模拟多用户请求爬虫
