我们在爬取数据的时候有可能会出现爬到一半就不动了，有可能是因为目标网站封了你的ip，因为程序的运行是非常快的，人为的访问速度没有那么快，所以会被封，我们可以有多种方法可以避免这种问题第一种：降低访问速度，我们可以使用time模块中的sleep，使程序每运行一次后就睡眠1s，这样的话就可以大大的减少ip被封的几率第二种：为了提高效率，我们可以使用代理ip来解决，ip是亿牛云的动态转发代理，以下是代理配置过程的示例Seleniumfrom selenium import webdriverimport stringimport zipfile# 代理服务器proxyHost = “t.16yun.cn"proxyPort = “31111”# 代理隧道验证信息proxyUser = “username"proxyPass = “password"def create_proxy_auth_extension(proxy_host, proxy_port,proxy_username,proxy_password, scheme=‘http’, plugin_path=None): if plugin_path is None: plugin_path = r’C:/{}_{}@t.16yun.zip’.format(proxy_username, proxy_password) manifest_json = "”” { “version”: “1.0.0”, “manifest_version”: 2, “name”: “16YUN Proxy”, “permissions”: [ “proxy”, “tabs”, “unlimitedStorage”, “storage”, “”, “webRequest”, “webRequestBlocking” ], “background”: { “scripts”: [“background.js”] }, “minimum_chrome_version”:“22.0.0” } "”" background_js = string.Template( """ var config = { mode: “fixed_servers”, rules: { singleProxy: { scheme: “${scheme}”, host: “${host}”, port: parseInt(${port}) }, bypassList: [“foobar.com”] } }; chrome.proxy.settings.set({value: config, scope: “regular”}, function() {}); function callbackFn(details) { return { authCredentials: { username: “${username}”, password: “${password}” } }; } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: [""]}, [‘blocking’] ); """ ).substitute( host=proxy_host, port=proxy_port, username=proxy_username, password=proxy_password, scheme=scheme, ) with zipfile.ZipFile(plugin_path, ‘w’) as zp: zp.writestr(“manifest.json”, manifest_json) zp.writestr(“background.js”, background_js) return plugin_pathproxy_auth_plugin_path = create_proxy_auth_extension( proxy_host=proxyHost, proxy_port=proxyPort, proxy_username=proxyUser, proxy_password=proxyPass)option = webdriver.ChromeOptions()option.add_argument("–start-maximized")option.add_extension(proxy_auth_plugin_path)driver = webdriver.Chrome(chrome_options=option)driver.get(“http://httpbin.org/ip")这段代码示例是可以直接复制使用的，但是里面的代理信息是我使用过期了的，所以要程序可以运行，还需要在他们客服那里开通代理获取新的代理信息替换才可以使用。