来投个票吧
问题一：五一你会出去玩吗？
A. 不会
B. 会
问题二：五一出行形式？
A. 自驾
B. 高铁
C. 飞机
问题三：高铁或飞机的话，你抢到票了吗？
A. 是
B. 否
关了三年的大学生们成为了城市穿梭“特种兵”，景区充斥着各种中老年团，更不用说我在西湖边掉的，然而在灵隐寺找到的鞋子了 …… 往年五一，曾经是能够预感的火爆了。
然而，火爆的游览不仅让有旅游业方兴未艾，也让黄牛们赚到“盆满钵满”。高铁票且不说，机票的抢票难度曾经高到天际。这外面，就波及到非法代理人操控的歹意“爬虫”。
歹意爬虫如何影响咱们抢机票
“爬虫”的定义咱们就不再赘述了。Python 还是牛的。
而所谓歹意“爬虫”，就是局部航空服务代理人通过“爬虫”非法抓取航空公司 B2C 网站或官网 App 等平台上的机票信息，而后非法倒卖给别人以牟取利益。
局部代理人利用“爬虫”爬取下票务信息后，再利用虚伪的身份信息预订机票，但不付款。在航空公司容许的订票账期内，转售给真正须要购票的用户。这就导致局部机票并未售出，然而用户在航空公司查看时却显示已售罄。该行为称之为“虚伪占座”。
举个例子。
以下面机票为例，如果我能在官网原价买的话，应该是 1390（经济舱），然而票贩子通过歹意爬虫，把票务信息扒拉进去，预订机票但不付款，这就会导致官网显示“票已售罄”，真正须要的人无奈购票，只能通过他们去买了，而这个时候，票价可能是 3000 多。票贩子就通过这样的形式赚“差价”。
歹意爬虫的危害自不必说，一是对航空公司而言，节约了航空公司带宽资源，白白耗费航空查问费用，也扰乱航空公司的失常经营；二是，而“虚伪占座”不仅给航空公司和用户带来经济损失，也侵害了用户的合法权益。更要害的是：由此带来订票量的稳定导致航空公司收益管理系统算法产生误判，给出不符合实际状况的运价调整，伤害了用户权利以及平台的口碑。这外面， 受益者只有票贩子。
这种景象在五一节、国庆节这种大型节假日尤为突出。通过反欺诈核心监测发现，在国务院颁布五一劳动节假期安顿后的 72 小时里内，多家航空公司网站的“爬虫”流量暴增。其中，虚伪查票占总查问总量的 36% 以上，局部航空公司的虚伪查票数字甚至高达 99%。
航空公司能够如何“反爬”
“反爬”之前，咱们须要先辨认这种爬虫的特色：
歹意爬虫的特色
1、拜访的指标网页比拟集中：“爬虫”代理人指标明确，次要是爬取班次、价格、数量等外围信息，因而只浏览拜访几个固定页面，不拜访其余页面。
2、查问订票等行为很有法则： 因为“爬虫”是程序化操作，依照事后设定的流程进行拜访等，因而呈现出毫无思维、但很有法则、有节奏且继续的行为。
3、同一设施上有规模化的拜访和操作：“爬虫”的目标是最短时间内抓取最多信息，因而同一设施会有大量离散的行为，包含拜访、浏览、查问等。
4、拜访起源 IP 地址异样： 失常状况下用户在查问、购买时，用户的 IP 地址比较稳定，而且拜访起源 IP 比拟；“爬虫”、“虚伪占座”等操作时，IP 起源地址出现不同维度上的汇集，而且浏览、查问、购票等操作时不停变动 IP 地址。
5、设置 UA 模仿浏览器和频繁应用代理 IP： 很多“爬虫”程序伪装成浏览器进行拜访，比方在程序头或者 UA 中默认含有相似 python-requests/2.18.4 等固定字符串；并且通过购买或者租用的云服务、革新路由器、租用 IP 代理、频繁变更代理 IP 等进行拜访。
6、操作多集中非业务时间段：“爬虫”程序运行工夫多集中在无人值守阶段。此时系统监控会放松，而且平台的带宽等资源占用少，爬虫密集的批量爬取不会对带宽、接口造成影响。以下是顶象反欺诈核心监测到，凌晨 1 - 5 点是歹意“爬虫”的运行顶峰时段。
航空公司的常见伎俩
歹意爬虫对于航空公司来说，其实很早就发现了，但也始终没什么好办法去检测和防备。一般来说，就是通过 IP 和验证码进行限度，然而这两类伎俩有十分大的局限性。
通过 IP 地址进行限度： 当同一 IP、同一电脑在肯定工夫内拜访网站的次数，零碎主动限度其拜访浏览等。然而，封禁 IP 的伎俩可能误伤实在用户，而且“爬虫”幕后的运营者随时可用购买或者租用的云服务、革新路由器、租用 IP 代理、频繁变更代理 IP 等办法绕过封禁的规定。
通过验证码进行限度： 当某一用户拜访次数过多后，就主动让申请跳转到一个验证码页面，只有在输出正确的验证码之后能力持续拜访网站。然而设置简单的验证码会影响用户操作，给客户体验带来负面作用。
全链路防控可能更无效
传统的伎俩或措施无奈对歹意“爬虫”进行分别，这就须要一套从客户端到业务端的全链路防控体系。顶象反爬解决方案基于设施指纹对实现对各类危险和模拟器、真机的辨认，以及 Dinsight 危险决策引擎毫秒级实时决策对行为剖析（鼠标的滑动轨迹、键盘的敲击速率、滑动验证码的滑动轨迹、速率、按钮点击等行为轨迹等），实现对歹意“爬虫”行为的无效辨认；通过智能无感验证的人机交互防护，间接拦挡“爬虫”对敏感数据的爬取；利用 Xintell 智能模型平台建设基于业务场景的策略模型，从而对反爬成果进行实时优化，良好防备歹意爬取的危险。
顶象数据反爬解决方案根据多年攻防反抗实战经验，提供了动静策略的精准防护；全链路纵深防护，防止“爬虫”的单点绕过；多维度进攻，无效拦挡各种歹意“爬虫”行为；无感的人机交互验证，无效反爬又不影响失常用户体验。