共计 3261 个字符，预计需要花费 9 分钟才能阅读完成。
有爬虫教训的小伙伴，在对出名网站爬数据时，是否都遇到过 IP 限度速度等状况呢？明天就跟大家聊聊什么是动静代理 Ip，以及实现一个简略的爬虫。
- 什么是动静代理 IP
- 动静代理的益处
- 动静代理 IP 的类别
- 申请获取代理 ip
- 应用代理 IP
- 应用代理 ip 简略爬下谷歌数据
1. 什么是动静代理 IP
动静代理 IP，指拜访指标网站服务器的代理 IP 是一直变动的。它能够暗藏实在 IP，让彼此无奈追踪，胜利地脱离对方的限度；能够通过代理服务器，对一些外来访问者，特地是网站上的重要信息进行限度；很多本地网站会限度当地 IP 拜访，动静代理 IP 则能够冲破限度。
动静代理 IP 个别用于用户爬虫等
2. 动静代理 IP 的益处
- 放慢访问速度：个别状况，你拜访了某个网站后，代理服务器有缓存性能的。它会缓存你浏览网站的信息，因而你再次拜访网站时，这些信息能够间接在代理服务中获取。
- 爱护隐衷信息：高质量代理的 IP 对网络安全是有益处的。它能够爱护你的电脑免受病毒的侵扰，尤其对于企业来说，能够无效地爱护企业的外部信息，避免黑客攻击。
- 进步下载速度：有些网站提供的下载资源，是会做一个 IP 一个线程的限度的，这时则能够应用代理 IP 冲破下载限度。
- 作为防火墙：代理服务器能够爱护局域网的平安，起到防火墙的作用。它隔离内网与外网，提供监控网络和记录传输信息的性能，增强局域网的安全性。代理商还能够用来限度 IP 地址的封闭，禁止用户浏览某些页面。。
- 进步爬虫的速率：因为很多网站会限度 IP，以制约爬虫。而应用动静代理 ip 能够绕过指标网站限度，更好的抓取网络数据，比方能够自定义工夫更换 ip 地址，进步爬虫效率。
- 治理网络资源：能够限定一部分共享资源进到非凡的地区用户，保护资源的地区性
3. 动静代理 IP 的类别
依照 匿名度分类 的话，代理 IP 分为 高匿名代理 IP、一般匿名代理 IP、通明代理 IP三种。
- 高匿名代理 IP：匿名度最高的代理 IP，一般来说指标网站服务器无奈辨认出用户应用了代理；
- 一般匿名代理 IP：匿名度较低，指标网站服务器能够发现用户正在应用代理 IP 进行拜访，往往会限度拜访；
- 通明代理 IP：不能匿名拜访，将会间接裸露用户终端的实在 IP，存在着肯定的危险。
按 时效划分 的话，可将代理 IP 分为动态代理 IP 和动静代理 IP。
- 动态代理 IP：固定调配一个 IP 地址给你，每次都是固定的，
- 动静代理 IP：有时效性，时效过后会生效。动静代理 IP 又能够分为长期代理 IP 和短期代理 IP，短期代理 IP 的时效个别从几秒到几分钟不等；长期代理 IP 的时效通常从几分钟到几天不等。
按协定类型分类，代理 IP 分为 http(s)代理 IP 和 socks5 代理 IP。
- http(s)代理 IP 同时反对 http 和 https 协定
- socks5 代理则只是单纯的进行数据传输，对于协定类型没有要求。
4. 申请获取代理 ip
接下来，讲讲怎么申请这个代理 IP。我应用的是 IPIDEA 这个网站：www.ipidea.net。
新用户注册胜利后，是有赠送流量的，这些流量能够学习用：
集体认证赠送 500M，技术认证赠送 1G，企业认证胜利后赠送 2G
大家间接点击注册就能够啦：https://www.ipidea.net/?utm-s…
注册胜利进入网站后，按这个步骤来：代理服务 ->API 获取
紧接着，你能够本人抉择国家地区、代理协定，数据格式。再而后点击上面的生成链接
如果没有实名认证的话，去实名一下就好啦~。到这里呢，你就拿到代理 ip 的 api 链接：
用浏览器拜访下这个链接，就能够看到生成的代理 IP
为什么抉择 IPIDEA 呢？
尽管代理 ip 的网站很多，然而抉择哪个平台？须要从这个几个因素登程：平安稳定性、性价比
- 安全性和稳固：IPIDEA 笼罩 220+ 国家地区的海内住宅代理资源，反对住宅动静 ip
- 性价比：新用户注册就送一部分收费的流量，给用户体检一把。整体的价格也不贵
动静住宅 IP 有哪些益处：
- 超过 9000 万个真正的动静住宅代理，保障您能够大规模采集数据
- 有限并发申请
- 笼罩寰球 220+ 国家城市地区，优质的家庭住宅代理 IP 资源
- HTTP、HTTPS 和 SOCKS5 多种协定
- IP 可用率大于 98%
5. 应用代理 IP
代理 IP 的三种应用办法，别离是 浏览器设置代理服务器、ip 代理软件、编程代码的应用。
5.1 浏览器设置代理服务器
这是最简略的应用代理 Ip 的形式，间接在浏览器上设置代理服务器，而后拜访网站。
上面演示一下，谷歌浏览器应用代理 ip。
1. 首先，登录 Ipidea.net 账号，生成 API 链接，关上链接并将链接内的 IP 复制。就是复制上面这些 IP
2. 在你的谷歌浏览器菜单中，点击设置。
3. 再点击高级，点击零碎，最初关上您计算机的代理设置。
4. 开启应用代理服务器按钮，并填写方才复制的 IP 和端口，点击保留。
5. 关上百度，搜寻框输出 IP，即可以后代理后的 IP 地址。
以后只 反对境外网络应用哈，不提供任何模式的境内应用形式。其余浏览器设置，能够参考教程：不同浏览器设置代理 ip
5.2 ip 代理软件
如果你感觉浏览器设置代理服务器，太麻烦的话。能够每次切换代理 IP 时，通过 IP 代理软件一键设置切换。或者通过 IP 代理软件主动切换。
5.3 java 代码设置代理 IP
用 Java 代码设置代理 IP，个别会有这两种形式：
1. 零碎属性设置实现代理设置
System.getProperties().setProperty("http.proxyHost", ip);
System.getProperties().setProperty("http.proxyPort", "80");这种设置的劣势显著。即快捷不便，并且是 JVM 级别的设置，就能够对整个我的项目起作用。然而也有个显著的毛病，当代理 IP 不可用时，会间接调用本地网络进行连贯。
2. 应用 SocketAddress 网络代理
SocketAddress address = new InetSocketAddress(host, Integer.parseInt(port));
Proxy proxy = new Proxy(Proxy.Type.HTTP, address);
URL url = new URL("https://www.google.com/");
URLConnection conn = url.openConnection(proxy);这种形式，当代理连贯产生谬误时，会间接抛出异样，而并不是应用本地的连贯持续拜访。毛病是每次代理都须要创立连贯。
6. 应用代理 ip 爬谷歌数据
应用代理 Ip，拜访一下谷歌，代码如下：
public class IPProxyTest {public static void main(String[] args) throws IOException {URL url = new URL("https://www.google.com/");
SocketAddress address = new InetSocketAddress("你的代理 IP", 你的代理端口);
Proxy proxy = new Proxy(Proxy.Type.HTTP, address);
URLConnection conn = url.openConnection(proxy);
BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String inputLine;
while ((inputLine = in.readLine()) != null)
System.out.println(inputLine);
in.close();}
}这里简略演示了应用代理 ip 爬取了谷歌官网数据。其实 动静代理 ip还能够做很多很多事件，大家能够自行去体检一下！点击立刻去获取你的动静代理 IP，IPIDEA
最近 IPIDEA 的新用户双重特惠，限时专享！
1、注册认证，领 2G 收费用！
2、套餐充值，加赠 10%，最高送 1000 元额度!
TIPS：平时咱们须要用到爬虫时，如果 IP 被限度速度什么的，能够自定义一个工夫主动切换 ip，这样就能够进步爬虫下效率啦~ 当然，个别爬虫只是 学习用 哈！