引言
如果您仔细分析过任何一个网站的申请日志，您必定会发现一些可疑的流量，那可能就是爬虫流量。依据 Imperva 公布的《2023 Imperva Bad Bot Report》在 2022 年的所有互联网流量中，47.4% 是爬虫流量。与 2021 年的 42.3% 相比，增长了 5.1%。在这些爬虫流量中，30.2% 是歹意爬虫，比 2021 年的 27.7% 增长了 2.5%。
从国内外公开的数据中能够得出，歹意爬虫简直呈现在各个行业，无论是传统行业、泛互联网，还是政企、金融等，都各种水平蒙受着爬虫的攻打，并且爬虫流量还在逐年增长。
大部分失常的爬虫能够帮忙咱们进步生产力，而歹意的爬虫不仅会造成数据透露还会影响失常用户体验。适合的反爬服务可辨认歹意爬虫并拦挡，京东云 WAF 的 BOT 治理提供了多种爬虫防护性能。
歹意爬虫的危害
爬虫（Web Crawler），又称网络爬虫、网络蜘蛛、网页蜘蛛，是一种自动化程序或脚本，用于在互联网上主动地获取网页内容，并从中提取信息。
爬虫分为非法爬虫和非法爬虫或歹意爬虫。非法爬虫是恪守网络道德和法律规定，以非法、合规和敌对的形式运行的网络爬虫。这些爬虫在进行数据采集和信息获取时，遵循网站的 robots.txt 协定，尊重网站的隐衷政策和应用条款，以及恪守相干的法律法规。非法爬虫的目标通常是为了收集网站上公开可见的信息，并且爬取的频率和速率是正当且可控的。这些爬虫的应用合乎网站的拜访规定，不会对网站造成重大的带宽压力或资源节约。例如平时咱们用的百度、必应等搜索引擎就离不开爬虫，搜索引擎爬虫每天会在网络上爬取大量的网页进行剖析解决收收录，当用户通过关键词搜寻时，就会依照肯定的排序把相干的网页快照展示给用户。
歹意爬虫是一类不恪守网络道德和法律规定，以非法、破坏性或无害的形式运行的网络爬虫。这些爬虫通常不遵循网站的 robots.txt 协定、不尊重网站的隐衷政策，以及不恪守网站的应用条款和服务协定。歹意爬虫的目标可能包含但不限于：
- 破绽探测：攻击者利用爬虫程序扫描网站寻找破绽，利用破绽可实现网站提权装置后门等。
- 数据盗取：攻击者部署爬虫非法的形式获取网站的敏感数据、个人信息、商业秘密等，可用于欺诈、垃圾邮件、身份偷盗等不良用处。
- 刷票、薅羊毛：攻击者通过爬虫程序抢优惠券、秒杀商品等，影响流动成果。明码撞库：大规模暴力破解或撞击明码，获取用户账户的拜访权限，对网站用户的账户平安造成严重威胁。
- 暴力破解：攻击者利用大规模僵死网络，高速、大规模攻打网站，导致服务器过载、带宽节约，影响网站的失常运行。
综上，歹意爬虫对网站和企业影响重大，轻则影响网站失常运行重则影响企业失常经营。因而，通过部署反爬服务阻止歹意爬虫申请，爱护网站免受威逼十分重要。京东云 WAF Bot 治理提供了多种爬虫防护伎俩，可无效帮你应答各种爬虫。
歹意爬虫防护——京东云 WAF Bot 治理
京东云 WAF Bot 治理反对对爬虫程序进行甄别分类，并采取针对性的流量管理策略，例如，放行搜索引擎蜘蛛流量，对歹意爬取商品信息、秒杀价格、库存信息等外围数据进行阻断，还能够应答歹意机器人程序爬取带来的资源耗费、查问业务数据等问题。
京东云 WAF 提供了 常见爬虫 UA 库，提供 11 大类上百种商业爬虫防护，可疾速高效拦挡这类爬虫。
京东云 WAF 提供了 歹意 IP 惩办，联合 Web 攻打防护利用大数据算法，可及时辨认并拦挡歹意 IP 扫描行为，无效防护漏扫描、文件遍历等爬虫行为。
京东云 WAF反爬虫 引擎利用算法和模型主动学习并剖析网站申请流量，提供了宽松、失常、严格 3 种等级的防护模式，并反对配置配置察看、人机交互、拦挡返回自定义页面等，可无效防护数据类爬虫和刷券类爬虫。
京东云 WAF 提供了 账户平安，通过提取申请中的账号和明码主动剖析，可无效防护弱明码探测、暴力破解和撞库攻打。
京东云 WAF 提供了 IDC 威逼情报，可拦挡云上有过歹意行为的 IP 拜访； 伪造蜘蛛情报，可拦挡伪装成搜索引擎蜘蛛的爬虫申请。
京东云 WAF 提供了 伪造 UA 评分，可辨认歹意爬虫伪装成浏览器的申请行为。
京东云 WAF 提供了 自定义 BOT 规定，反对多种条件叠加、同时还能够叠加前端技术、叠加威逼情报，联合多维度频次统计，可灵便反对多种业务场景下的爬虫行为，为攻防反抗提供了可配性。
2023 年 H1，京东云 WAF 帮忙云上多个客户防护了上亿次爬虫攻打，攻打的峰值 QPS 达到 20W+/s。攻打的伎俩和目标也多种多样，有挂小区基站 IP 池的、有伪装成失常用户的、有常态化扫描探测的、有刷优惠券的、有刷特价商品的、有爬商品价格的。
前段时间云 WAF 有个客户发优惠券，刚开始的时候刷子利用私有云的函数服务和云主机刷券，客户开启云 WAF 的 IDC 威逼情报轻松应答；刷子降级了策略应用了小区基站 IP 池伪装成 Chrome 浏览器用户大量的申请优惠券接口，领导客户开启了反爬虫引擎并配置了自定义 Bot 规定，平时的峰值 QPS 只有 2K，发券时候峰值 QPS 打到了 11W。5 分钟进来 1405W 申请，云 WAF 拦挡了 1401W。其中被反爬虫引擎辨认了 59%，被自定义 BOT 规定拦挡了 38%，被威逼情报拦挡了 3%，辨认并拦挡歹意爬虫率达到 99.7%。
总结
互联网上一半的流量来自于爬虫，如果您的网站没发现爬虫行为或者您的网站正蒙受歹意爬虫攻打，那么您能够试试云 WAF 的爬虫治理，不仅能够帮您发现爬虫行为还能够帮您防护爬虫攻打。具体能够参考：官网文档。
作者：京东科技 李文强
起源：京东云开发者社区 转载请注明起源