乐趣区

关于python:Python-标准库-urllib2-的使用细节

jiezi

Python 规范库中有很多实用的工具类，然而在具体应用时，规范库文档上对应用细节形容的并不分明，比方 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的应用细节。
1 Proxy 的设置
2 Timeout 设置
3 在 HTTP Request 中退出特定的 Header
4 Redirect
5 Cookie
6 应用 HTTP 的 PUT 和 DELETE 办法
7 失去 HTTP 的返回码
8 Debug Log
1 Proxy 的设置
urllib2 默认会应用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确管制 Proxy，而不受环境变量的影响，能够应用上面的形式。

import urllib2
 
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
 
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
 
urllib2.install_opener(opener)

这里要留神的一个细节，应用 urllib2.install_opener() 会设置 urllib2 的全局 opener。这样前面的应用会很不便，但不能做更细粒度的管制，比方想在程序中应用两个不同的 Proxy 设置等。比拟好的做法是不应用 install_opener 去更改全局的设置，而只是间接调用 opener 的 open 办法代替全局的 urlopen 办法。

2 Timeout 设置
在老版本中，urllib2 的 API 并没有裸露 Timeout 的设置，要设置 Timeout 值，只能更改 Socket 的全局 Timeout 值。

import urllib2
import socket
 
socket.setdefaulttimeout(10) # 10 秒钟后超时
urllib2.socket.setdefaulttimeout(10) # 另一种形式

3 在 HTTP Request 中退出特定的 Header
要退出 Header，须要应用 Request 对象：

import urllib2
 
request = urllib2.Request(uri)
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)

对有些 header 要特地注意，Server 端会针对这些 header 做查看

User-Agent 有些 Server 或 Proxy 会查看该值，用来判断是否是浏览器发动的 Request

Content-Type 在应用 REST 接口时，Server 会查看该值，用来确定 HTTP Body 中的内容该怎么解析。
常见的取值有：
在应用 RPC 调用 Server 提供的 RESTful 或 SOAP 服务时，Content-Type 设置谬误会导致 Server 拒绝服务。
application/xml：在 XML RPC，如 RESTful/SOAP 调用时应用
application/json：在 JSON RPC 调用时应用
application/x-www-form-urlencoded：浏览器提交 Web 表单时应用
……
4 Redirect
urllib2 默认状况下会针对 3xx HTTP 返回码主动进行 Redirect 动作，无需人工配置。要检测是否产生了 Redirect 动作，只有检查一下 Response 的 URL 和 Request 的 URL 是否统一就能够了。

import urllib2
response = urllib2.urlopen('http://www.google.cn')redirected = response.geturl() == 'http://www.google.cn'

如果不想主动 Redirect，除了应用更低层次的 httplib 库之外，还能够应用自定义的 HTTPRedirectHandler 类。

import urllib2
 
class RedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_301(self, req, fp, code, msg, headers):
        pass
    def http_error_302(self, req, fp, code, msg, headers):
        pass
 
opener = urllib2.build_opener(RedirectHandler)
opener.open('http://www.google.cn')

5 Cookie
urllib2 对 Cookie 的解决也是主动的。如果须要失去某个 Cookie 项的值，能够这么做：

import urllib2
import cookielib
 
cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open('http://www.google.com')
for item in cookie:
    if item.name == 'some_cookie_item_name':
        print item.value

6 应用 HTTP 的 PUT 和 DELETE 办法
urllib2 只反对 HTTP 的 GET 和 POST 办法，如果要应用 HTTP PUT 和 DELETE，只能应用比拟低层的 httplib 库。尽管如此，咱们还是能通过上面的形式，使 urllib2 可能收回 HTTP PUT 或 DELETE 的包：

import urllib2
 
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' # or 'DELETE'
response = urllib2.urlopen(request)

7 失去 HTTP 的返回码
对于 200 OK 来说，只有应用 urlopen 返回的 response 对象的 getcode() 办法就能够失去 HTTP 的返回码。但对其它返回码来说，urlopen 会抛出异样。这时候，就要查看异样对象的 code 属性了：

import urllib2
try:
    response = urllib2.urlopen('http://restrict.web.com')
except urllib2.HTTPError, e:
    print e.code

8 Debug Log
应用 urllib2 时，能够通过上面的办法把 Debug Log 关上，这样收发包的内容就会在屏幕上打印进去，不便咱们调试，在肯定水平上能够省去抓包的工作。

import urllib2
 
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
 
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.google.com')

以上就是本次分享的全部内容，当初想要学习编程的小伙伴欢送关注 Python 技术大本营，获取更多技能与教程。

退出移动版