网络爬虫 (Web Crawler)，又称网络蜘蛛(Web Spider) 或网络机器人(Web Robot)，是一种依照肯定的规定主动抓取万维网资源的程序或者脚本，已被广泛应用于互联网畛域。搜索引擎应用网络爬虫抓取 Web 网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜寻用户进行查问。
网络爬虫的安全性问题
因为网络爬虫的策略是尽可能多的“爬过”网站中的高价值信息，会依据特定策略尽可能多的拜访页面，占用网络带宽并减少 Web 服务器的解决开销，不少小型站点的站长发现当网络爬虫光顾的时候，拜访流量将会有显著的增长。歹意用户能够利用爬虫程序对 Web 站点动员 DoS 攻打，使 Web 服务在大量爬虫程序的暴力拜访下，资源耗尽而不能提供失常服务。歹意用户还可能通过网络爬虫抓取各种敏感材料用于不正当用处，次要体现在以下几个方面：
1. 搜寻目录列表
互联网中的许多 Web 服务器在客户端申请该站点中某个没有默认页面的目录时，会返回一个目录列表。该目录列表通常包含可供用户点击的目录和文件链接，通过这些链接能够拜访下一层目录及当前目录中的文件。因此通过抓取目录列表，歹意用户往往可获取大量有用的材料，包含站点的目录构造、敏感文件以及 Web 服务器设计架构及配置信息等等，比方程序应用的配置文件、日志文件、密码文件、数据库文件等，都有可能被网络爬虫抓取。这些信息能够作为筛选攻打指标或者间接入侵站点的重要材料。
2. 搜寻测试页面、手册文档、样本程序及可能存在的缺点程序
大多数 Web 服务器软件附带了测试页面、帮忙文档、样本程序及调试用后门程序等。这些文件往往会透露大量的零碎信息甚至提供绕过认证间接拜访 Web 服务数据的办法，成为歹意用户分析攻击 Web 服务器的无效情报来源。而且这些文件的存在自身也暗示网站中存在潜在的安全漏洞。
3. 搜寻管理员登录页面
许多网络产品提供了基于 Web 的治理接口，容许管理员在互联网中对其进行远程管理与管制。如果管理员疏于防范，没有批改网络产品默认的管理员名及明码，一旦其管理员登录页面被歹意用户搜寻到，网络安全将面临极大的威逼。
4. 搜寻互联网用户的个人资料
互联网用户的个人资料包含姓名、身份证号、电话、Email 地址、QQ 号、通信地址等个人信息，歹意用户获取后容易利用社会工程学施行攻打或欺骗。
因而，采取适当的措施限度网络爬虫的拜访权限，向网络爬虫凋谢网站心愿推广的页面，屏蔽比拟敏感的页面，对于放弃网站的平安运行、爱护用户的隐衷是极其重要的。
如何应答爬虫的平安威逼
因为网络爬虫带来的平安威逼，不少网站的管理人员都在思考对爬虫拜访进行限度甚至回绝爬虫拜访。实际上，依据网站内容的安全性及敏感性，区别对待爬虫是比拟现实的措施。网站的 URL 组织应该依据是否为适宜大范畴公开，设置不同的 URL 门路，在同一 Web 页面中既有须要齐全公开信息也有敏感信息时, 应 通过链接、标签嵌入网页等形式显示敏感内容，另外尽可能把动态页面等经评估安全性较高的页面与安全性较差的动静页面从 URL 上离开。当限度爬虫时能够针对 URL 门路的安全性与敏感性对不同品种的爬虫与代理进行限度。
限度爬虫能够通过以下几种办法实现：
1) 设置 robots.txt 文件
限度爬虫最简略的办法是设置 robots.txt 文件。robots.txt 文件是搜索引擎爬虫拜访网站的时候要查看的第一个文件，它通知爬虫程序在服务器上什么文件是能够被查看的，如设置 Disallow: /，则示意所有的门路均不能查看。遗憾的是并不是所有的搜索引擎爬虫会恪守这个规定，因而仅仅设置 robots 文件是不够的。
2) User Agent 辨认与限度
要对不理睬 robots.txt 文件的爬虫拜访进行限度，首先要把爬虫流量与普通用户的拜访流量进行辨别，即对其进行辨认。个别的爬虫程序都能够通过其 HTTP 申请中的 User Agent 字段进行辨认，该字段使服务器可能辨认客户应用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。爬虫的 User Agent 字段个别与浏览器的有所不同，如 Google 搜索引擎爬虫 User Agent 字段中会有相似 Googlebot 的字符串，百度搜索引擎爬虫则会有相似 Baiduspider 的字符串。不少 Web 服务器软件如 Apache，能够设置通过 User Agent 字段进行拜访过滤，能够比拟无效的限度大部分爬虫的拜访。
3) 通过拜访行为特色辨认与限度
对于在 HTTP 申请的 User Agent 字段刻意伪装成浏览器的爬虫，能够通过其拜访行为特色进行辨认。爬虫程序的拜访个别是有规律性的频率比拟高，区别于实在用户浏览时的随意性与低频率。对这类爬虫的限度原理与 DDoS 攻打的进攻原理很类似，都基于统计数据。对于这类爬虫的限度只能通过利用辨认设施、IPS 等可能做深度辨认的网络设备来实现。用网络设备限度网络爬虫，不仅比拟全面，而且非常适合在多服务器状况下进行对立的治理，防止多服务器独自治理有可能造成的疏漏。