网站介绍：通过 IP 判断爬虫如果你查看服务器日志，看到密密麻麻的 IP 地址，你一眼可以看出来那些 IP 是爬虫，那些 IP 是正常的爬虫，就像这样：在这密密麻麻的日志里面，我们不仅要分辨出真正的爬虫 IP ，同时也要分辨出伪造的爬虫 IP，实属不易。如果查看服务器日志，我们可以先通过 User-agent 大致判断出是爬虫还是正常用户，例如：Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)这._27.115.124搜索蜘蛛
- 链接地址：https://blog.csdn.net/oHuangBing/article/details/121226665
- 链接标题：如何判断一个 IP 是爬虫_27.115.124搜索蜘蛛-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：4030
- 网站标签：27.115.124搜索蜘蛛
