是不是在本地只是少量抓取没囿触发到爬虫,而放到了服务器就触发了
1.抓取手机端的比较好避规反爬
2.模拟前段请求也不会那么容易反爬
3.申请api是最好的,大家都方便
1.多申请一些代理ip免费的网络差很多上了黑名单,最好去买一点不贵
2.封装模拟请求更丰富点,比如头部经常换refer别太单一
3.适当加入部分cookie,茬爬取一定量后更换
最终级的方法(未尝试):
把头部改成百度的对于百度的爬虫一般就没有反爬了
如果你还有什么没解决的,看我昵稱联系我吧
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。