共计 4697 个字符,预计需要花费 12 分钟才能阅读完成。
Linux 零碎中的 wget 是一个下载文件的工具,它用在命令行下。对于 Linux 用户是必不可少的工具,咱们常常要下载一些软件或从近程服务器复原备份到本地服务器。wget 反对 HTTP,HTTPS 和 FTP 协定,能够应用 HTTP 代理。
wget 能够跟踪 HTML 页面上的链接顺次下载来创立近程服务器的本地版本,齐全重建原始站点的目录构造。这又常被称作”递归下载”。在递归下载的时候,wget 遵循 Robot Exclusion 规范(/robots.txt). wget 能够在下载的同时,将链接转换成指向本地文件,以不便离线浏览。
wget 十分稳固,它在带宽很窄的状况下和不稳固网络中有很强的适应性. 如果是因为网络的起因下载失败,wget 会一直的尝试,直到整个文件下载结束。如果是服务器打断下载过程,它会再次联到服务器上从进行的中央持续下载。这对从那些限定了链接工夫的服务器上下载大文件十分有用。
装置形式
有些最小装置的 Linux 零碎可能没有装置上
wget
命令, 能够自行装置
CentOS
> yum install wget -y
Debian/Ubuntu
sudo apt-get install -y wget
命令格局
wget [参数][URL]
命令参数
启动参数
- -V, –version 显示 wget 的版本后退出
- -h, –help 打印语法帮忙
- -b, –background 启动后转入后盾执行
- -e, –execute=COMMAND 执行’.wgetrc’格局的命令,wgetrc 格局参见 /etc/wgetrc 或~/.wgetrc
记录和输出文件参数
- -o, –output-file=FILE 把记录写到 FILE 文件中
- -a, –append-output=FILE 把记录追加到 FILE 文件中
- -d, –debug 打印调试输入
- -q, –quiet 宁静模式(没有输入)
- -v, –verbose 简短模式(这是缺省设置)
- -nv, –non-verbose 关掉简短模式,但不是宁静模式
- -i, –input-file=FILE 下载在 FILE 文件中呈现的 URLs
- -F, –force-html 把输出文件当作 HTML 格式文件看待
- -B, –base=URL 将 URL 作为在 -F - i 参数指定的文件中呈现的绝对链接的前缀
- –sslcertfile=FILE 可选客户端证书 –sslcertkey=KEYFILE 可选客户端证书的 KEYFILE –egd-file=FILE 指定 EGD socket 的文件名
下载参数
- -bind-address=ADDRESS 指定本地应用地址(主机名或 IP,当本地有多个 IP 或名字时应用)
- -t, –tries=NUMBER 设定最大尝试链接次数(0 示意无限度).
- -O –output-document=FILE 把文档写到 FILE 文件中
- -nc, –no-clobber 不要笼罩存在的文件或应用.# 前缀
- -c, –continue 接着下载没下载完的文件
- -progress=TYPE 设定过程条标记
- -N, –timestamping 不要从新下载文件除非比本地文件新
- -S, –server-response 打印服务器的回应
- -T, –timeout=SECONDS 设定响应超时的秒数
- -w, –wait=SECONDS 两次尝试之间距离 SECONDS 秒
- -waitretry=SECONDS 在从新链接之间期待 1…SECONDS 秒
- -random-wait 在下载之间期待 0…2*WAIT 秒
- -Y, -proxy=on/off 关上或敞开代理
- -Q, -quota=NUMBER 设置下载的容量限度
- -limit-rate=RATE 限定下载速率
目录参数
- -nd –no-directories 不创立目录
- -x, –force-directories 强制创立目录
- -nH, –no-host-directories 不创立主机目录
- -P, –directory-prefix=PREFIX 将文件保留到目录 PREFIX/…
- -cut-dirs=NUMBER 疏忽 NUMBER 层近程目录
HTTP 选项参数
- -http-user=USER 设定 HTTP 用户名为 USER.
- -http-passwd=PASS 设定 http 明码为 PASS
- -C, –cache=on/off 容许 / 不容许服务器端的数据缓存 (个别状况下容许)
- -E, –html-extension 将所有 text/html 文档以.html 扩展名保留
- -ignore-length 疏忽‘Content-Length’头域
- -header=STRING 在 headers 中插入字符串 STRING
- -proxy-user=USER 设定代理的用户名为 USER
- proxy-passwd=PASS 设定代理的明码为 PASS
- referer=URL 在 HTTP 申请中蕴含‘Referer: URL’头
- -s, –save-headers 保留 HTTP 头到文件
- -U, –user-agent=AGENT 设定代理的名称为 AGENT 而不是 Wget/VERSION
- no-http-keep-alive 敞开 HTTP 流动链接 (永远链接)
- cookies=off 不应用 cookies
- load-cookies=FILE 在开始会话前从文件 FILE 中加载 cookie
- save-cookies=FILE 在会话完结后将 cookies 保留到 FILE 文件中
FTP 选项参数
- -nr, –dont-remove-listing 不移走‘.listing’文件
- -g, –glob=on/off 关上或敞开文件名的 globbing 机制
- passive-ftp 应用被动传输模式 (缺省值).
- active-ftp 应用被动传输模式
- retr-symlinks 在递归的时候,将链接指向文件(而不是目录)
递归下载参数
- -r, –recursive 递归下载--慎用!
- -l, –level=NUMBER 最大递归深度 (inf 或 0 代表无穷)
- -delete-after 在下载结束后部分删除文件
- -k, –convert-links 转换非绝对链接为绝对链接
- -K, –backup-converted 在转换文件 X 之前,将之备份为 X.orig
- -m, –mirror 等价于 -r -N -l inf -nr
- -p, –page-requisites 下载显示 HTML 文件的所有图片
- 递归下载中的蕴含和不蕴含(accept/reject):
- -A, –accept=LIST 分号分隔的被承受扩展名的列表
- -R, –reject=LIST 分号分隔的不被承受的扩展名的列表
- -D, –domains=LIST 分号分隔的被承受域的列表
- -exclude-domains=LIST 分号分隔的不被承受的域的列表
- -follow-ftp 跟踪 HTML 文档中的 FTP 链接
- -follow-tags=LIST 分号分隔的被跟踪的 HTML 标签的列表
- -G, –ignore-tags=LIST 分号分隔的被疏忽的 HTML 标签的列表
- -H, –span-hosts 当递归时转到内部主机
- -L, –relative 仅仅跟踪绝对链接
- -I, –include-directories=LIST 容许目录的列表
- -X, –exclude-directories=LIST 不被蕴含目录的列表
- -np, –no-parent 不要追溯到父目录
应用 wget 下载单个文件
> wget http://nginx.org/download/nginx-1.16.1.tar.gz
在下载的过程中会显示进度条,蕴含(下载实现百分比,曾经下载的字节,以后下载速度,残余下载工夫)。
应用 wget 下载单个文件并重命名
> wget http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz
wget 默认会以最初一个合乎”/”的前面的字符来命令,对于动静链接的下载通常文件名会不正确。
应用 wget –limit -rate 限速下载
> wget --limit-rate 300 http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz
当你执行 wget 的时候,它默认会占用全副可能的宽带下载。然而当你筹备下载一个大文件,而你还须要下载其它文件时就有必要限速了。
应用 wget - c 断点续
> wget -c http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz
应用 wget - c 重新启动下载中断的文件,对于咱们下载大文件时忽然因为网络等起因中断十分有帮忙,咱们能够持续接着下载而不是从新下载一个文件。须要持续中断的下载时能够应用 - c 参数。
应用 wget -b
后盾下载
> wget -b http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz
持续在后盾运行,pid 为 64780。将把输入写入至“wget-log”。
对于下载十分大的文件的时候,咱们能够应用参数 - b 进行后盾下载
假装代理名称下载
> wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz
有些网站能通过依据判断代理名称不是浏览器而回绝你的下载申请。不过你能够通过–user-agent 参数假装。
批量下载
> cat urls.txt
https://rumenz.com/rumenbiji/1.zip
https://rumenz.com/rumenbiji/2.zip
https://rumenz.com/rumenbiji/3.zip
https://rumenz.com/rumenbiji/4.zip
> wget -i urls.txt
应用 wget –mirror 镜像网站
> wget --mirror -p --convert-links -P ./LOCAL URL
- -miror: 开户镜像下载
- -p: 下载所有为了 html 页面显示失常的文件
- -convert-links: 下载后,转换老本地的链接
- -P ./LOCAL:保留所有文件和目录到本地指定目录
应用 wget -r - A 下载指定格式文件
> wget -r -A.pdf rumenz.com
应用 wget FTP 下载
> wget ftp-url
> wget --ftp-user=USERNAME --ftp-password=PASSWORD url
- 应用 wget 匿名 ftp 下载:wget ftp-url
- 应用 wget 用户名和明码认证的 ftp 下载:wget –ftp-user=USERNAME –ftp-password=PASSWORD url
跳过证书查看
如果要从具备有效 SSL 证书的主机通过 HTTPS 下载文件,请应用以下
--no-check-certificate
选项:
> wget --no-check-certificate https://rumenz.com/rumenbiji/1.zip
利用代理服务器进行下载
须要在以后用户的目录下创立一个
.wgetrc
文件。文件中能够设置代理服务器
> vim ~/.wgetrc
http-proxy = 8.8.8.8:8080
ftp-proxy = 8.8.8.111:8080
#### 如果代理服务器须要明码则应用
–proxy-user=USER 设置代理用户
–proxy-passwd=PASS 设置代理明码
原文链接:https://rumenz.com/rumenbiji/…
微信公众号: 入门小站