关于人工智能:爬虫程序部署后常见问题整理

在爬虫程序本地测试运行通过之后，一些同学就急不可待的将程序部署到服务器上进行正式运行，而后跑一段时间之后就呈现了各种谬误甚至程序退出，这里将一些常见的问题整顿下供参考：

　　1、本地调试通过只是阐明程序从申请到数据分析的流程曾经残缺了，然而并不代表程序能长期稳固的采集数据，针对采集的网站须要进行自动化测试，个别倡议依照肯定次数或工夫进行稳定性测试，看看网站的响应状况和反爬状况

　　2、程序须要加上数据处理的异样爱护，如果是数据要求不高，能够单线程运行，如果数据要求较高，倡议加上多线程运行，进步程序的解决性能

　　3、依据采集的数据要求和网站状况，配置适当的爬虫代理，这样能够升高网站反爬的危险，爬虫代理的抉择比照中，要重点关注网络提早、IP 池大小和申请成功率，这样能够疾速抉择适宜的爬虫代理产品

　　上面提供一个 demo 程序，用来统计申请和 IP 散布，也能够依据需要批改成数据采集程序：

#! -*- encoding:utf-8 -*-    import requests    import random    import requests.adapters     # 要拜访的指标页面    targetUrlList = [        "https://",        "https://",        "https://",    ]     # 代理服务器(产品官网 h.shenlongip.com)    proxyHost = " h.shenlongip.com"    proxyPort = "  "     # 代理验证信息    proxyUser = "username"    proxyPass = "password"     proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {        "host": proxyHost,        "port": proxyPort,        "user": proxyUser,        "pass": proxyPass,    }     # 设置 http和https拜访都是用HTTP代理    proxies = {        "http": proxyMeta,        "https": proxyMeta,    }     #  设置IP切换头    tunnel = random.randint(1, 10000)    headers = {"Proxy-Tunnel": str(tunnel)}      class HTTPAdapter(requests.adapters.HTTPAdapter):        def proxy_headers(self, proxy):            headers = super(HTTPAdapter, self).proxy_headers(proxy)            if hasattr(self, 'tunnel'):                headers['Proxy-Tunnel'] = self.tunnel            return headers      # 拜访三次网站，应用雷同的tunnel标记，均可能放弃雷同的外网IP    for i in range(3):        s = requests.session()         a = HTTPAdapter()         #  设置IP切换头        a.tunnel = tunnel        s.mount('https://', a)         for url in targetUrlList:            r = s.get(url, proxies=proxies)            print r.text