共计 3534 个字符，预计需要花费 9 分钟才能阅读完成。
本文档介绍了 Python 下载文件的各种形式，从下载简略的小文件到用断点续传的形式下载大文件。
Requests
应用 Requests 模块的 get 办法从一个 url 上下载文件，在 python 爬虫中常常应用它下载简略的网页内容
import requests
# 图片来自 bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def requests_download():
content = requests.get(url).content
with open('pic_requests.jpg', 'wb') as file:
file.write(content)urllib
应用 python 内置的 urllib 模块的 urlretrieve 办法间接将 url 申请保留成文件
from urllib import request
# 图片来自 bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def urllib_download():
request.urlretrieve(url, 'pic_urllib.jpg')urllib3
urllib3 是一个用于 Http 客户端的 Python 模块，它应用连接池对网络进行申请拜访
def urllib3_download():
# 创立一个连接池
poolManager = urllib3.PoolManager()
resp = poolManager.request('GET', url)
with open("pic_urllib3.jpg", "wb") as file:
file.write(resp.data)
resp.release_conn()wget
在 Linux 零碎中有 wget 命令，能够不便的下载网上的资源，Python 中也有相应的 wget 模块。应用 pip install 命令装置
import wget
# 图片来自 bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def wget_download():
wget.download(url, out='pic_wget.jpg')也能够间接在命令行中应用 wget 命令
python -m wget https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg分块下载大文件
在须要下载的文件十分大，电脑的内存空间齐全不够用的状况下，能够应用 requests 模块的流模式，默认状况下 stream 参数为 False, 文件过大会导致内存不足。stream 参数为 True 的时候 requests 并不会立即开始下载，只有在调用 iter_content 或者 iter_lines 遍历内容时下载
iter_content：一块一块的遍历要下载的内容 iter_lines：一行一行的遍历要下载的内容
import requests
def steam_download():
# vscode 客户端
url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe'
with requests.get(url, stream=True) as r:
with open('vscode.exe', 'wb') as flie:
# chunk_size 指定写入大小每次写入 1024 * 1024 bytes
for chunk in r.iter_content(chunk_size=1024*1024):
if chunk:
flie.write(chunk)进度条
在下载大文件的时候加上进度条丑化下载界面，能够实时晓得下载的网络速度和曾经下载的文件大小，这里应用 tqdm 模块作为进度条显示，能够应用 pip install tqdm 装置
from tqdm import tqdm
def tqdm_download():
url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe'
resp = requests.get(url, stream=True)
# 获取文件大小
file_size = int(resp.headers['content-length'])
with tqdm(total=file_size, unit='B', unit_scale=True, unit_divisor=1024, ascii=True, desc='vscode.exe') as bar:
with requests.get(url, stream=True) as r:
with open('vscode.exe', 'wb') as fp:
for chunk in r.iter_content(chunk_size=512):
if chunk:
fp.write(chunk)
bar.update(len(chunk))tqdm 参数阐明：
- total：bytes，整个文件的大小
- unit=’B’: 按 bytes 为单位计算
- unit_scale=True：以 M 为单位显示速度
- unit_divisor=1024：文件大小和速度按 1024 除以，默认时按 1000 来除
- ascii=True：进度条的显示符号，用于兼容 windows 零碎
- desc=’vscode.exe’ 进度条后面的文件名
断点续传
HTTP/1.1 在协定的申请头中减少了一个名为 Range 的字段域，Range 字段域让文件从曾经下载的内容开始持续下载
如果网站反对 Range 字段域申请响应的状态码为 206(Partial Content)，否则为 416(Requested Range not satisfiable)
Range 的格局
Range:[unit=first byte pos] - [last byte pos]，即 Range = 开始字节地位 - 完结字节地位，单位：bytes将 Range 退出到 headers 中
from tqdm import tqdm
def duan_download():
url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe'
r = requests.get(url, stream=True)
# 获取文件大小
file_size = int(r.headers['content-length'])
file_name = 'vscode.exe'
# 如果文件存在获取文件大小，否在从 0 开始下载，first_byte = 0
if os.path.exists(file_name):
first_byte = os.path.getsize(file_name)
# 判断是否曾经下载实现
if first_byte >= file_size:
return
# Range 退出申请头
header = {"Range": f"bytes={first_byte}-{file_size}"}
# 加了一个 initial 参数
with tqdm(total=file_size, unit='B', initial=first_byte, unit_scale=True, unit_divisor=1024, ascii=True, desc=file_name) as bar:
# 加 headers 参数
with requests.get(url, headers = header, stream=True) as r:
with open(file_name, 'ab') as fp:
for chunk in r.iter_content(chunk_size=512):
if chunk:
fp.write(chunk)
bar.update(len(chunk))启动下载一段时间后，敞开脚本从新运行，文件在断开的内容后持续下载
总结
本文介绍了罕用的 7 中文件下载方式，其余的下载方式大家能够在留言区交换交换共同进步
以上就是本次分享的所有内容，想要理解更多 python 常识欢送返回公众号：Python 编程学习圈，发送“J”即可收费获取，每日干货分享
