关于linux:Linux之wget命令

Linux 零碎中的 wget 是一个下载文件的工具，它用在命令行下。对于 Linux 用户是必不可少的工具，咱们常常要下载一些软件或从近程服务器复原备份到本地服务器。wget 反对 HTTP，HTTPS 和 FTP 协定，能够应用 HTTP 代理。
wget 能够跟踪 HTML 页面上的链接顺次下载来创立近程服务器的本地版本，齐全重建原始站点的目录构造。这又常被称作”递归下载”。在递归下载的时候，wget 遵循 Robot Exclusion 规范(/robots.txt). wget 能够在下载的同时，将链接转换成指向本地文件，以不便离线浏览。

wget 十分稳固，它在带宽很窄的状况下和不稳固网络中有很强的适应性. 如果是因为网络的起因下载失败，wget 会一直的尝试，直到整个文件下载结束。如果是服务器打断下载过程，它会再次联到服务器上从进行的中央持续下载。这对从那些限定了链接工夫的服务器上下载大文件十分有用。

装置形式

有些最小装置的 Linux 零碎可能没有装置上 wget 命令, 能够自行装置

CentOS

> yum install wget -y

Debian/Ubuntu

sudo apt-get install -y wget

命令格局

wget [参数][URL]

命令参数

启动参数

• -V, –version 显示 wget 的版本后退出
• -h, –help 打印语法帮忙
• -b, –background 启动后转入后盾执行
• -e, –execute=COMMAND 执行’.wgetrc’格局的命令，wgetrc 格局参见 /etc/wgetrc 或~/.wgetrc

记录和输出文件参数

• -o, –output-file=FILE 把记录写到 FILE 文件中
• -a, –append-output=FILE 把记录追加到 FILE 文件中
• -d, –debug 打印调试输入
• -q, –quiet 宁静模式(没有输入)
• -v, –verbose 简短模式(这是缺省设置)
• -nv, –non-verbose 关掉简短模式，但不是宁静模式
• -i, –input-file=FILE 下载在 FILE 文件中呈现的 URLs
• -F, –force-html 把输出文件当作 HTML 格式文件看待
• -B, –base=URL 将 URL 作为在 -F - i 参数指定的文件中呈现的绝对链接的前缀
• –sslcertfile=FILE 可选客户端证书 –sslcertkey=KEYFILE 可选客户端证书的 KEYFILE –egd-file=FILE 指定 EGD socket 的文件名

下载参数

• -bind-address=ADDRESS 指定本地应用地址(主机名或 IP，当本地有多个 IP 或名字时应用)
• -t, –tries=NUMBER 设定最大尝试链接次数(0 示意无限度).
• -O –output-document=FILE 把文档写到 FILE 文件中
• -nc, –no-clobber 不要笼罩存在的文件或应用.# 前缀
• -c, –continue 接着下载没下载完的文件
• -progress=TYPE 设定过程条标记
• -N, –timestamping 不要从新下载文件除非比本地文件新
• -S, –server-response 打印服务器的回应
• -T, –timeout=SECONDS 设定响应超时的秒数
• -w, –wait=SECONDS 两次尝试之间距离 SECONDS 秒
• -waitretry=SECONDS 在从新链接之间期待 1…SECONDS 秒
• -random-wait 在下载之间期待 0…2*WAIT 秒
• -Y, -proxy=on/off 关上或敞开代理
• -Q, -quota=NUMBER 设置下载的容量限度
• -limit-rate=RATE 限定下载速率

目录参数

• -nd –no-directories 不创立目录
• -x, –force-directories 强制创立目录
• -nH, –no-host-directories 不创立主机目录
• -P, –directory-prefix=PREFIX 将文件保留到目录 PREFIX/…
• -cut-dirs=NUMBER 疏忽 NUMBER 层近程目录

HTTP 选项参数

• -http-user=USER 设定 HTTP 用户名为 USER.
• -http-passwd=PASS 设定 http 明码为 PASS
• -C, –cache=on/off 容许 / 不容许服务器端的数据缓存 (个别状况下容许)
• -E, –html-extension 将所有 text/html 文档以.html 扩展名保留
• -ignore-length 疏忽‘Content-Length’头域
• -header=STRING 在 headers 中插入字符串 STRING
• -proxy-user=USER 设定代理的用户名为 USER
• proxy-passwd=PASS 设定代理的明码为 PASS
• referer=URL 在 HTTP 申请中蕴含‘Referer: URL’头
• -s, –save-headers 保留 HTTP 头到文件
• -U, –user-agent=AGENT 设定代理的名称为 AGENT 而不是 Wget/VERSION
• no-http-keep-alive 敞开 HTTP 流动链接 (永远链接)
• cookies=off 不应用 cookies
• load-cookies=FILE 在开始会话前从文件 FILE 中加载 cookie
• save-cookies=FILE 在会话完结后将 cookies 保留到 FILE 文件中

FTP 选项参数

• -nr, –dont-remove-listing 不移走‘.listing’文件
• -g, –glob=on/off 关上或敞开文件名的 globbing 机制
• passive-ftp 应用被动传输模式 (缺省值).
• active-ftp 应用被动传输模式
• retr-symlinks 在递归的时候，将链接指向文件(而不是目录)

递归下载参数

• -r, –recursive 递归下载--慎用!
• -l, –level=NUMBER 最大递归深度 (inf 或 0 代表无穷)
• -delete-after 在下载结束后部分删除文件
• -k, –convert-links 转换非绝对链接为绝对链接
• -K, –backup-converted 在转换文件 X 之前，将之备份为 X.orig
• -m, –mirror 等价于 -r -N -l inf -nr
• -p, –page-requisites 下载显示 HTML 文件的所有图片
• 递归下载中的蕴含和不蕴含(accept/reject)：
• -A, –accept=LIST 分号分隔的被承受扩展名的列表
• -R, –reject=LIST 分号分隔的不被承受的扩展名的列表
• -D, –domains=LIST 分号分隔的被承受域的列表
• -exclude-domains=LIST 分号分隔的不被承受的域的列表
• -follow-ftp 跟踪 HTML 文档中的 FTP 链接
• -follow-tags=LIST 分号分隔的被跟踪的 HTML 标签的列表
• -G, –ignore-tags=LIST 分号分隔的被疏忽的 HTML 标签的列表
• -H, –span-hosts 当递归时转到内部主机
• -L, –relative 仅仅跟踪绝对链接
• -I, –include-directories=LIST 容许目录的列表
• -X, –exclude-directories=LIST 不被蕴含目录的列表
• -np, –no-parent 不要追溯到父目录

应用 wget 下载单个文件

> wget http://nginx.org/download/nginx-1.16.1.tar.gz

在下载的过程中会显示进度条，蕴含（下载实现百分比，曾经下载的字节，以后下载速度，残余下载工夫）。

应用 wget 下载单个文件并重命名

> wget http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz

wget 默认会以最初一个合乎”/”的前面的字符来命令，对于动静链接的下载通常文件名会不正确。

应用 wget –limit -rate 限速下载

> wget --limit-rate 300 http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz

当你执行 wget 的时候，它默认会占用全副可能的宽带下载。然而当你筹备下载一个大文件，而你还须要下载其它文件时就有必要限速了。

应用 wget - c 断点续

> wget -c  http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz

应用 wget - c 重新启动下载中断的文件，对于咱们下载大文件时忽然因为网络等起因中断十分有帮忙，咱们能够持续接着下载而不是从新下载一个文件。须要持续中断的下载时能够应用 - c 参数。

应用 wget -b 后盾下载

> wget -b http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz
持续在后盾运行，pid 为 64780。将把输入写入至“wget-log”。

对于下载十分大的文件的时候，咱们能够应用参数 - b 进行后盾下载

假装代理名称下载

> wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://nginx.org/download/nginx-1.16.1.tar.gz -O ngx.tar.gz

有些网站能通过依据判断代理名称不是浏览器而回绝你的下载申请。不过你能够通过–user-agent 参数假装。

批量下载

> cat urls.txt
https://rumenz.com/rumenbiji/1.zip
https://rumenz.com/rumenbiji/2.zip
https://rumenz.com/rumenbiji/3.zip
https://rumenz.com/rumenbiji/4.zip

> wget -i urls.txt

应用 wget –mirror 镜像网站

> wget --mirror -p --convert-links -P ./LOCAL URL

• -miror: 开户镜像下载
• -p: 下载所有为了 html 页面显示失常的文件
• -convert-links: 下载后，转换老本地的链接
• -P ./LOCAL：保留所有文件和目录到本地指定目录

应用 wget -r - A 下载指定格式文件

> wget -r -A.pdf rumenz.com

应用 wget FTP 下载

> wget ftp-url
> wget --ftp-user=USERNAME --ftp-password=PASSWORD url

• 应用 wget 匿名 ftp 下载：wget ftp-url
• 应用 wget 用户名和明码认证的 ftp 下载:wget –ftp-user=USERNAME –ftp-password=PASSWORD url

跳过证书查看

如果要从具备有效 SSL 证书的主机通过 HTTPS 下载文件，请应用以下 --no-check-certificate 选项：

> wget --no-check-certificate https://rumenz.com/rumenbiji/1.zip

利用代理服务器进行下载

须要在以后用户的目录下创立一个 .wgetrc 文件。文件中能够设置代理服务器

> vim ~/.wgetrc
http-proxy = 8.8.8.8:8080 
ftp-proxy  = 8.8.8.111:8080

#### 如果代理服务器须要明码则应用

–proxy-user=USER 设置代理用户 
–proxy-passwd=PASS 设置代理明码

原文链接:https://rumenz.com/rumenbiji/…
微信公众号: 入门小站