共计 660 个字符，预计需要花费 2 分钟才能阅读完成。
在这个网络高速发展的时代，各种网络技术层出不穷，网络爬虫就是其中的一种，而且越来越火, 大到各种大型网站，, 小到微博, 汽车, 身边所有能在网络上留下信息都都能做为爬虫的目标。但是随着爬虫越来越强, 各种网站的反爬虫的技术也越来越先进. 出现了各种各样的验证码, 以前还只是数字类, 后来图片类, 最变态是 12306 的图片, 人工都只有 50% 机率. 当然反爬最牛的还是封锁 IP. 同一个 IP 如果爬取过快或过多, 机器就判断你是爬虫, 而不是正常访问行为。
那么有没有办法可以越过各种反爬技术呢？答案是有的，目前最有效的就二种方法.
1 放慢你的脚步, 设延时. 不要一个月干的事情, 你一天干完.
2 当然就是使用代理 ip
第一个就是时间和速度会拉长, 来爬数据, 对于个人或学校等挺适合. 但对于公司来说, 时间成本才是最贵的. 那有没有在最快的速度最快的时间内, 可以爬取到你想要的数据呢. 答案就是第二种方式, 使用代理 ip. 亿牛云代理专为爬虫而生的代理, 使用最先进的隧道转发理技术, 我们提供一个固定的 ip 服务器地址，客户只需要配置到程序了里，就可以使用，我们的后台自动秒换 ip。传统 API 提取式代理，通过 URL 定时获取代理 IP 信息，需验证 IP 的可用性、更换代理设置，同时需要设计多线程异步 IO，实现代理 IP 并发处理，不仅繁琐，而且影响效率。“亿牛云爬虫代理 IP”通过固定云代理服务地址，建立专线网络链接，代理平台自动实现毫秒级代理 IP 切换，保证了网络稳定性和速度，避免爬虫客户在代理 IP 策略优化上投入精力。亿牛云代理:www.16yun.cn 客户 qq：2221256510
