文章浏览阅读1.5w次,点赞34次,收藏155次。python爬虫伪装,伪装请求头以及使用代理ip前言一、爬虫都拿走了些什么二、伪造请求头1.下载my-fake-useragent库三、使用代理ip总结前言在逐渐深入学习爬虫后每一次的测试都心惊胆战,......
2024-01-24 23:12 阅读 阅读全文httpbin.org 这个网站能测试 HTTP 请求和响应的各种信息,比如 cookie、ip、headers 和登录验证等,且支持 GET、POST 等多种方法,对 web 开发和测试很有帮助。它用 Python + Flask 编写,是一个开源项目。官方网站开源地址今天使用的是它......
2023-10-10 04:03 阅读 阅读全文文章浏览阅读8.9k次,点赞21次,收藏47次。上面一篇被ban了,重写,针对爬虫首先声明只是哥玩具爬虫,得到自己的所有博客地址,然后随机访问;思想很简单,包含了2个类IPSpyder和CSDN类,前者保证一周内get一次ip代理到本地,......
2024-01-22 23:16 阅读 阅读全文文章浏览阅读885次。对于爬虫工作者而言,爬虫的速度并不是越快越好。因为如果爬虫采集的速度越快,就越容易被发现,也就越容易被封IP。那么该如何合理控制爬虫的爬取速度呢?一般来说可以通过更改抓取延迟的方式来控......
2024-01-24 23:16 阅读 阅读全文文章浏览阅读1.1w次,点赞41次,收藏31次。 大家好,我是不温卜火,是一名计算机学院大数据专业大三的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了......
2024-01-24 06:01 阅读 阅读全文文章浏览阅读6.4w次,点赞195次,收藏537次。代码是正经代码,但是程序员正不正经就不知道了。前言在使用爬虫对某些网站进行爬取时,为了不让网站发现我们的ip,模拟其他用户ip地址去访问网站。也就相当于间接的去访问......
2024-01-25 03:27 阅读 阅读全文