共计 3301 个字符,预计需要花费 9 分钟才能阅读完成。
我的代码的哪些局部运行工夫最长、内存最多?我怎样才能找到须要改良的中央?”
在开发过程中,我很确定咱们大多数人都会想晓得这一点,而且通常状况下存在开发空间。在本文中总结了一些办法来监控 Python 代码的工夫和内存应用状况。
本文将介绍 4 种办法,前 3 种办法提供工夫信息,第 4 个办法能够取得内存应用状况。
- time 模块
- %%time 魔法命令
- line_profiler
- memory_profiler
time 模块
这是计算代码运行所需工夫的最简略、最间接 (但须要手动开发) 的办法。他的逻辑也很简略: 记录代码运行之前和之后的工夫,计算工夫之间的差别。这能够实现如下:
importtime
start_time=time.time()
result=5+2
end_time=time.time()
print('Time taken = {} sec'.format(end_time-start_time))
上面的例子显示了 for 循环和列表推导式在工夫上的差别:
importtime
# for loop vs. list comp
list_comp_start_time=time.time()
result= [iforiinrange(0,1000000)]
list_comp_end_time=time.time()
print('Time taken for list comp = {} sec'.format(list_comp_end_time-list_comp_start_time))
result=[]
for_loop_start_time=time.time()
foriinrange(0,1000000):
result.append(i)
for_loop_end_time=time.time()
print('Time taken for for-loop = {} sec'.format(for_loop_end_time-for_loop_start_time))
list_comp_time=list_comp_end_time-list_comp_start_time
for_loop_time=for_loop_end_time-for_loop_start_time
print('Difference = {} %'.format((for_loop_time-list_comp_time)/list_comp_time*100))
咱们都晓得 for 会慢一些
Time taken for list comp = 0.05843973159790039 sec
Time taken for for-loop = 0.06774497032165527 sec
Difference = 15.922795107582594 %
%%time 魔法命令
魔法命令是 IPython 内核中内置的不便命令,能够不便地执行特定的工作。个别状况下都切实 jupyter notebook 种应用。
在单元格的结尾增加 %%time,单元格执行实现后,会输入单元格执行所破费的工夫。
%%time
defconvert_cms(cm, unit='m'):
'''Function to convert cm to m or feet'''
ifunit=='m':
returncm/100
returncm/30.48
convert_cms(1000)
后果如下:
CPU times: user 24 µs, sys: 1 µs, total: 25 µs
Wall time: 28.1 µs
Out[8]: 10.0
这里的 CPU times 是 CPU 解决代码所破费的理论工夫,Wall time 是事件通过的实在工夫,在办法入口和办法进口之间的工夫。
line_profiler
前两个办法只提供执行该办法所需的总工夫。通过工夫分析器咱们能够取得函数中每一个代码的运行工夫。
这里咱们须要应用 line_profiler 包。应用 pip install line_profiler。
importline_profiler
defconvert_cms(cm, unit='m'):
'''Function to convert cm to m or feet'''
ifunit=='m':
returncm/100
returncm/30.48
# Load the profiler
%load_extline_profiler
# Use the profiler's magic to call the method
%lprun-fconvert_cmsconvert_cms(1000, 'f')
输入后果如下:
Timer unit: 1e-06 s
Total time: 4e-06 s
File: /var/folders/y_/ff7_m0c146ddrr_mctd4vpkh0000gn/T/ipykernel_22452/382784489.py
Function: convert_cms at line 1
Line # Hits Time Per Hit % Time Line Contents
==============================================================
1 def convert_cms(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''5 1 2.0 2.0 50.0 if unit =='m':
6 return cm/100
7 1 2.0 2.0 50.0 return cm/30.48
能够看到 line_profiler 提供了每行代码所破费工夫的详细信息。
- Line Contents : 运行的代码
- Hits: 行被执行的次数
- Time: 所破费的总工夫(即命中次数 x 每次命中次数)
- Per Hit: 一次执行破费的工夫,也就是说 Time = Hits X Per Hit
- % Time: 占总工夫的比例
能够看到,每一行代码都具体的剖析了工夫,这对于咱们剖析工夫相当的有帮忙。
memory_profiler
与 line_profiler 相似,memory_profiler 提供代码的逐行内存应用状况。
要装置它须要应用 pip install memory_profiler。咱们这里监督 convert_cms_f 函数的内存应用状况
from conversions import convert_cms_f
import memory_profiler
%load_ext memory_profiler
%mprun -f convert_cms_f convert_cms_f(1000, 'f')
convert_cms_f 函数在独自的文件中定义,而后导入。后果如下:
Line # Mem usage Increment Occurrences Line Contents
=============================================================
1 63.7 MiB 63.7 MiB 1 def convert_cms_f(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''5 63.7 MiB 0.0 MiB 1 if unit =='m':
6 return cm/100
7 63.7 MiB 0.0 MiB 1 return cm/30.48
memory_profiler 提供对每行代码内存应用状况的具体理解。
这里的 1 MiB (MebiByte) 简直等于 1MB。1 MiB = 1.048576 1MB
然而 memory_profiler 也有一些毛病:它通过查问操作系统内存,所以后果可能与 python 解释器略有不同,如果在会话中屡次运行 %mprun,可能会留神到增量列报告所有代码行为 0.0 MiB。这是因为魔法命令的限度导致的。
尽管 memory_profiler 有一些问题,然而它就使咱们可能分明地理解内存应用状况,对于开发来说是一个十分好用的工具
总结
尽管 Python 并不是一个以执行效率见长的语言,然而在某些非凡状况下这些命令对咱们还是十分有帮忙的。
https://avoid.overfit.cn/post/9204bf68886e4353a32578f87fd977d2
作者:Rishikeshavan