关于ip:baiduspider-ASN-与-IP-地址段总结归纳

50次阅读

共计 1487 个字符,预计需要花费 4 分钟才能阅读完成。

搜索引擎蜘蛛个别指网络爬虫,又称为网页蜘蛛或网络机器人,是一种依照肯定的规定主动地抓取万维网信息的程序或者脚本。

百度蜘蛛(baiduspider),是百度搜索引擎的一个主动程序。它的作用是拜访收集整理互联网上的网页、图片、视频等内容,而后分门别类建设索引数据库,使用户能在百度搜索引擎中搜寻到您网站的网页、图片、视频等内容。

百度蜘蛛并没有颁布本人的 IP 地址段,咱们在经营网站的时候,常常会遇到混充爬虫来抓取咱们的网站,这个时候咱们就须要通过一些工具来辨认这些爬虫是真正的 baiduspider 还是 fake baiduspider(伪造百度蜘蛛,或者伪造 baiduspider),爬虫辨认站长在经营过程中总结和演绎了 baiduspider 的爬虫 IP 地址段与 ASN,心愿能够帮到大家。

baiduspider ASN

  • AS4808
  • AS55967
  • AS23724
  • AS4837
  • AS137702

如果不晓得真么查问某个 IP 的 ASN,咱们能够应用 IP 地址查问查问 IP 具体的 ASN。

baiduspider IP 地址段以及归属地

  • 61.135.0.0/16 北京市联通
  • 123.125.0.0/16 北京市联通
  • 111.206.0.0/16 北京市联通
  • 180.76.0.0/20 香港百度云
  • 180.149.128.0/19 北京市电信
  • 220.181.0.0/16 北京市电信
  • 36.110.128.0/17 北京市电信
  • 124.164.0.0/14 山西省阳泉市联通
  • 116.179.0.0/16 山西省阳泉市联通
  • 180.97.0.0/18 江苏省南京市电信百度网讯

下面并不是所有的 IP 地址段都是 baiduspider 的 IP,外面可能有一部分 IP 是 baiudspider 的 IP,如果在此 IP 地址段中,不确定是不是 baiduspider 的 IP 地址,能够到爬虫 IP 查问确认一下。

同时提供 CIDR 转换 IP 地址段工具将 IP 地址段转换成 IP 范畴。

baiduspider User-agent

  • Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
  • Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
  • Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
  • Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

此处只列举出这些,更多的能够到 Baiduspider 查问。

总结

这篇文章次要介绍了 baiduspider 的 IP 地址段、ASN 和 User-agent 等信息,通过以上信息能够防止在经营网站的过程中将 baiduspider 正确的 IP 误判,同时也能够防止将伪造 baiduspider 的爬虫放过。

正文完
 0