lll

2020-06-22   阅读量: 773

爬虫

有哪些反爬虫技术?

扫码加入数据分析学习群

以下主要介绍四种方式:

1.通过User-Agent来控制访问

2.通过IP限制来反爬虫:简单的说,就是通过ip代理,从不同的ip进行访问,这样就不会被封掉ip了。可是ip代理的获取本身就是一个很麻烦的事情,网上有免费和付费的,但是质量都层次不齐。如果是企业里需要的话,可以通过自己购买集群云服务来自建代理池。

3.通过JS脚本来防止爬虫:PhantomJS是一个Python包,他可以在没有图形界面的情况下,完全模拟一个”浏览器“,js脚本验证什么的再也不是问题了。

4.通过robots.txt来限制爬虫

参考链接:https://www.cnblogs.com/qiguaideta/p/11589710.html


61.5378 3 2 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子