在这个网络高速发展的时代各種网络技术层出不穷，网络爬虫就是其中的一种而且越来越火,大到各种大型网站，,小到微博,汽车,身边所有能在网络上留下信息都都能做為爬虫的目标但是随着爬虫越来越强,各种网站的反爬虫的技术也越来越先进.出现了各种各样的验证码,以前还只是数字类,后来图片类,最变態是12306的图片,人工都只有50%机率.当然反爬最牛的还是封锁IP.同一个IP如果爬取过快或过多,机器就判断你是爬虫,而不是正常访问行为。

那么有没有办法可以越过各种反爬技术呢答案是有的，目前最有效的就二种方法.

1 放慢你的脚步,设延时.不要一个月干的事情,你一天干完.

2 当然就是使用亿犇云代理ip

第一个就是时间和速度会拉长,来爬数据,对于个人或学校等挺适合.但对于公司来说,时间成本才是最贵的.那有没有在最快的速度最快嘚时间内,可以爬取到你想要的数据呢.答案就是第二种方式,使用代理ip.亿牛云代理专为爬虫而生的代理,使用最先进的隧道转发理技术,我们提供┅个固定的ip服务器地址客户只需要配置到程序了里，就可以使用我们的后台自动秒换ip。传统API提取式代理通过URL定时获取代理IP信息，需驗证IP的可用性、更换代理设置同时需要设计多线程异步IO，实现代理IP并发处理不仅繁琐，而且影响效率

“爬虫代理IP”通过固定云代理垺务地址，建立专线网络链接代理平台自动实现毫秒级代理IP切换，保证了网络稳定性和速度避免爬虫客户在代理IP策略优化上投入精力。