关于程序员:什么你不知道wget可以这样用

导读

本文将介绍 wget 的根本应用办法，和一些高级用法，比方递归下载等。对于常常在 FTP 网页下载数据的读者来说，能够说是必备的技能之一。

1. 介绍

Wget 是由 GNU 我的项目创立的计算机工具。您能够应用它从各种 Web 服务器检索内容和文件。这个名字是万维网和 get 这个词的组合。它反对通过 FTP、SFTP、HTTP 和 HTTPS 下载。

Wget 是用可移植的 C 语言创立的，可在任何 Unix 零碎上应用。也能够在 Mac OS X、Microsoft Windows、AmigaOS 和其余风行平台上实现。

2. 装置

• Ubuntu 18.04

sudo apt-get install wget

• CentOS 7

sudo yum install wget

3. 命令

3.1. 单个文件

# 下载单个文件到以后文件夹
wget https://example.zip  # wget url

3.2. 多个文件

须要将多个件的 url 写到一个 txt 文件中，再利用 wget 下载

# example.txt
https://example1.zip

https://example2.zip

https://example3.zip

• 下载下面 example.txt 文件中的文件

wget -i example.txt

3.3. 命名

• 给下载文件重命名

wget -O example.zip https://ttt.zip  

# 利用 -o 选项，重命名文件为 `example.zip`

3.4. 指定目录

• 将下载文件保留到指定目录

wget -P documents/archives/ https://example.zip

# 利用 -p 选项，将文件保留到 `documents/archives/` 目录下

3.5. 限度下载速度

wget --limit-rate=500k https://example.zip

# 将下载速度最高限度为 500k

3.6. 重试尝试次数

wget -tries=100 https://example.zip

# 设置从新连贯次数为 100

3.7. 后盾下载

当下载的文件十分大的时候，能够将下载工作搁置到后盾

wget -b https://example.zip

3.8. FTP 下载

wget --ftp-user=YOUR_USERNAME --ftp-password=YOUR_PASSWORD ftp://example.com/something.tar

• --ftp-user：FTP 用户名
• --ftp-password：明码

3.9. 断点续连

当再下载途中，链接中断时，能够应用 -c 选项，进行从新连贯, 持续上次下载。

wget -c https://example.zip

3.10. 检索全站

• 下载整个网站的内容

wget --mirror --convert-links --page-requisites --no-parent -P documents/websites/ https://example.com

3.11. 查找断开链接

• 查找网页中无奈下载的连贯，并输入到文件中

wget -o wget-log -r -l 5 --spider http://example.com

• 利用上面命令，过滤出无奈下载的文件

grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u

# wget-log 是第一步的输入后果

3.12. 下载编号文件

如果文件名是依照数字编号时，能够同时下载。

wget http://example.com/images/{1..50}.jpg

本文由 mdnice 多平台公布