共计 4644 个字符,预计需要花费 12 分钟才能阅读完成。
大家好,我是 Jiejie。
明天介绍一个 Python 库【filestools】,是由一位大家很相熟的大佬开发的。
filestools 库目前蕴含四个工具包,这 4 个性能我真的超级喜爱,别离是:
- Ⅰ 树形目录显示;
- Ⅱ 文本文件差别比拟;
- Ⅲ 图片加水印;
- Ⅳ 将 curl 网络申请命令转换成 requests 库申请代码;
在应用之前,须要装置该库。一行命令即可搞定:
pip install filestools -i https://pypi.org/simple/ -U
1. 树形目录显示
这个性能能够帮忙咱们递归展现,指定目录下的所有文件和文件夹,并且展现每个文件和文件夹的大小,高深莫测。
咱们以 windows 为例,进行阐明。
整个操作,是在 CMD 黑窗口进行的。首先你要学会如何切换到指定盘,指定目录。
# 这样即可将 C 盘,切换到 D 盘
C:\Users\Administrator>D:
# 应用 cd 命令,能够切换到指定盘的指定目录
C:\Users\Administrator>cd C:\Users\Administrator\Desktop\python 三剑客 \ 加盟店爬虫
这外面有两个命令:tree 和 tree2。
- 如果你的零碎,本地 python 优先级高于零碎环境的优先级,间接执行 tree 命令;
- 如果你的零碎,因为零碎环境的优先级高于本地 python,除了能够调整环境变量程序批改优先级外,还能够应用 tree2 命令,与 tree 统一。然而你此时执行 tree 命令,看不见成果;
以我的电脑为根底,演示给大家看:
能够看到: 我这里执行 tree 命令,显示的就是未装置该库之前的零碎展现。
这是因为零碎环境的优先级高于本地 python 导致的。
此时,咱们间接执行 tree2 命令即可。
当然,大家也不喜爱在 CMD 窗口中执行命令。这里咱们间接在 jupyter notebook 中,执行如下操作:
from treedir.tree import tree_dir
tree_dir(r"C:\Users\Administrator\Desktop\python 三剑客 \ 加盟店爬虫", m_level=7, no_calc=False)
后果如下:
对于 tree_dir()函数,别离介绍如下 3 个参数:
- path:递归显示的目录门路,默认为当前目录;
- m_level:递归展现的最大层数,默认为 7 层;
- no_calc:指定该参数后,对于超过递归显示的最大层数的文件夹,不再持续递归计算文件夹大小;
2. 文本文件差别比拟
这个性能能够帮忙咱们比拟两个文件的差别,输入到 HTML 网页中。比如说,咱们写了一段代码,前面改变了。然而因为代码太多,咱们不晓得改了哪里,此时,应用这个性能,很好的帮忙咱们比照。
咱们来看这样一个例子,我已经有一个 a.txt 文件,通过一段时间后,我对其中的内容做了批改,失去了最初的 b.txt。
需要:想看看对哪里做了批改(如果内容很多的话)
from filediff.diff import file_diff_compare
file_diff_compare("a.txt", "b.txt")
这会在当前工作目录下,生成一个 html 网页文件。
双击关上,察看其中的内容:
其中:黄色示意改变过的内容,绿色示意新增加过的内容,红色示意曾经删除过的内容。
对于 file_diff_compare()函数,有如下 7 个参数:
from filediff.diff import file_diff_compare
file_diff_compare(file1, file2, diff_out='diff_result.html', max_width=70, numlines=0, show_all=False, no_browser=False)
对这 7 个参数,别离介绍如下:
- file1 / file2:待比拟的两个文件,必须文本文件;
- diff_out:差别后果保留的文件名(网页格局),默认值 diff_result.html;
- max_width:每行超过多少字符就主动换行,默认值 70;
- numlines:在差别行根底上前后显示多少行,默认是 0;
- show_all:只有设置这个参数就示意显示全副原始数据,此时 - n 参数有效,默认不显示全副;
- no_browser:设置这个参数,在生成后果后,不会主动关上游览器。当设置为 False 后,会主动关上浏览器;
3. 图片加水印
这应该是我见过的最棒的图片加水印代码,给图片加水印调用的是 add_mark()函数。
from watermarker.marker import add_mark
# 留神:有些参数是默认参数,你能够随便批改的;add_mark(file, mark, out='output', color='#8B8B1B', size=30, opacity=0.15, space=75, angle=30)
对于 add_mark()函数,别离介绍如下 8 个参数:
- file:待增加水印的照片;
- mark:应用哪些字作为水印;
- out:增加水印后保留的地位;
- color:水印字体的色彩,默认色彩 #8B8B1B;
- size:水印字体的大小,默认 50;
- opacity:水印字体的透明度,默认 0.15;
- space:水印字体之间的距离, 默认 75 个空格;
- angle:水印字体的旋转角度,默认 30 度;
比方咱们执行如下命令:
from watermarker.marker import add_mark
add_mark(file=r"C:\Users\Administrator\Desktop\ 大学.jpg", out=r"C:\Users\Administrator\Desktop\python 三剑客 \ 加盟店爬虫", mark="黄同学", opacity=0.2, angle=30, space=30)
咱们想要给大学.jpg 增加一个黄同学水印,保留的地位在加盟店爬虫文件夹下,透明度是 0.2,旋转角度是 30°,字体之间的距离是 30。
原图如下:
最终成果如下:
4. curl 网络申请转 requests 库申请代码
咱们在写爬虫的时候,常常会应用到一些参数信息,比方这样:
如果一个个手动复制,会不会显得很麻烦?
这个性能就能够解决这个问题,它可能将 cURL 转换为 Python 代码,咱们只须要复制即可。
大抵步骤是这样的:
- Ⅰ 先在谷歌游览器中,复制网络抓到的网络申请为 cURL(bash);
- Ⅱ 通过 curl2py 命令将其转换为 python 代码;
以实习网的 Python 岗位为例,进行阐明。
http://www.shixi.com/search/i…
依照下图操作,咱们复制了单个申请的 curl。
能够看到: 这里有各种不同的申请 url,而后 - H 前面是该申请对应的各种参数。咱们须要申请哪个链接,就复制对应的 curl。
仔细观察下图哦:
复制了 curl 后,能够粘贴进去,看看有哪些货色。
curl 'http://www.shixi.com/search/index?key=python' \
-H 'Connection: keep-alive' \
-H 'Cache-Control: max-age=0' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
-H 'Referer: http://www.shixi.com/' \
-H 'Accept-Language: zh-CN,zh;q=0.9' \
-H 'Cookie: UM_distinctid=17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSID=rpprvtdrcrvt54fkr7msgcde17; CNZZDATA1261027457=1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db7=1627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db7=1627741334' \
--compressed \
--insecure
有了上述 curl 后,就能够通过 curl2py 命令,将其转换为 python 代码。
from curl2py.curlParseTool import curlCmdGenPyScript
curl_cmd = """curl'http://www.shixi.com/search/index?key=python' \
-H 'Connection: keep-alive' \
-H 'Cache-Control: max-age=0' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
-H 'Referer: http://www.shixi.com/' \
-H 'Accept-Language: zh-CN,zh;q=0.9' \
-H 'Cookie: UM_distinctid=17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSID=rpprvtdrcrvt54fkr7msgcde17; CNZZDATA1261027457=1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db7=1627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db7=1627741334' \
--compressed \
--insecure"""
output = curlCmdGenPyScript(curl_cmd)
print(output)
最终后果如下:
能够看到,很多参数都被转换为规定的 Python 代码了,咱们间接拿着用即可,是不是很不便。
如果你感觉这篇文章,对你有帮忙的话,记得不要遗记 3 连 ,你的必定就将是我 继续输入更多优质文章的最强能源!