共计 3779 个字符,预计需要花费 10 分钟才能阅读完成。
本文同步公布于字节话云公众号。
前言
前段时间因为将我的项目应用的某 SDK 进行了降级,在应用 PyCharm+unittest 运行一个用例时,能运行并输入果,却始终无奈退出用例。随着排查的深刻,发现是此 SDK 中的线程在“作怪”。
用简略的代码复现
简略起见,上面这段代码(Python 2)蕴含了简略的线程逻辑和一个用例,来复现遇到的问题:
# coding: utf-8 | |
import threading | |
import time | |
import unittest | |
def tick(): | |
while True: | |
print('tick') | |
time.sleep(3) | |
t = threading.Thread(target=tick) | |
t.start() | |
class TestString(unittest.TestCase): | |
def test_upper(self): | |
self.assertEqual('foo'.upper(), 'FOO') |
这段代码开启了一个线程,每隔 3 秒输入 tick。另一方面,定义了一个用例,判断字符串的 upper()
办法。如果删除线程逻辑,用例能失常完结;反之,PyCharm 显示用例执行胜利,却始终无奈退出用例,如下图所示:
为什么不能退出?
运行用例前肯定会开启新线程,执行 tick()
函数,因为此函数应用 while
循环不断输入字符串,不难推断出是用例框架在退出时始终期待线程完结,进而导致用例无奈退出。
为了验证这个想法,无妨查看 PyCharm 运行用例的入口代码。不同的操作系统、PyCharm(社区版、专业版)和单测框架下用例入口文件门路都有所不同。Mac 上的 PyCharm 社区版针对 unittest
的用例入口文件门路为 "/Applications/PyCharm CE.app/Contents/plugins/python-ce/helpers/pycharm/_jb_unittest_runner.py"
,该文件内容如下:
# coding=utf-8 | |
import os | |
import sys | |
from unittest import main | |
from _jb_runner_tools import jb_start_tests, jb_doc_args, JB_DISABLE_BUFFERING, PROJECT_DIR | |
from teamcity import unittestpy | |
if __name__ == '__main__': | |
path, targets, additional_args = jb_start_tests() | |
args = ["python -m unittest"] | |
if path: | |
assert os.path.exists(path), "{0}: No such file or directory".format(path) | |
if sys.version_info > (3, 0) and os.path.isfile(path): | |
# In Py3 it is possible to run script directly which is much more stable than discovery machinery | |
# For example it supports hyphens in file names PY-23549 | |
additional_args = [path] + additional_args | |
else: | |
discovery_args = ["discover", "-s"] | |
# Unittest in py2 does not support running script directly (and folders in py2 and py3), | |
# but it can use "discover" to find all tests in some folder (optionally filtering by script) | |
if os.path.isfile(path): | |
discovery_args += [os.path.dirname(path), "-p", os.path.basename(path)] | |
else: | |
discovery_args.append(path) | |
discovery_args += ["-t", PROJECT_DIR] # To force unit calculate path relative to this folder | |
additional_args = discovery_args + additional_args | |
elif targets: | |
additional_args += targets | |
args += additional_args | |
jb_doc_args("unittests", args) | |
# Working dir should be on path, that is how unittest work when launched from command line | |
sys.path.insert(0, PROJECT_DIR) | |
sys.exit(main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING)) |
后面的逻辑次要是在组合运行用例的参数,对本文遇到的问题而言最要害是最初一行 main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING)
,这里的main
就是 unittest.TestProgram
,而相干核心内容如下:
class TestProgram(object): | |
"""A command-line program that runs a set of tests; this is primarily | |
for making test modules conveniently executable. | |
""" | |
USAGE = USAGE_FROM_MODULE | |
# defaults for testing | |
failfast = catchbreak = buffer = progName = None | |
def __init__(self, module='__main__', defaultTest=None, argv=None, | |
testRunner=None, testLoader=loader.defaultTestLoader, | |
exit=True, verbosity=1, failfast=None, catchbreak=None, | |
buffer=None): | |
... | |
self.exit = exit | |
... | |
self.parseArgs(argv) | |
self.runTests() | |
def runTests(self): | |
... | |
self.result = testRunner.run(self.test) | |
if self.exit: | |
sys.exit(not self.result.wasSuccessful()) |
PyCharm 的 _jb_unittest_runner.py
调用 main()
(即 TestProgram()
)时,没有传入 exit
参数,因而取默认值 True
,在指定 runTests()
运行用例的最初,依据用例后果决定 退出码
(0
或1
),进而调用 sys.exit()
退出用例执行过程。在此处打断点会发现始终卡在此句。
sys.exit()
的作用是退出以后线程,如果其余线程并没有完结,过程天然就不会完结。很显然,tick
函数所在的线程并没有被显式退出,就导致用例已被运行胜利,却无奈退出的景象。
该如何解决?
既然明确了起因,解决思路也就跃然纸上。
办法一:运行用例时不执行线程逻辑
如果执行周期性工作的线程逻辑并非用例所需,可通过环境变量、配置文件等形式进行管制,在运行用例时不执行线程逻辑,进而防止用例无奈退出。
办法二:显式退出过程而不是线程
应用 os._exit(n)
退出过程。须要留神的是,这种形式并不会调用清理逻辑、刷新规范 IO 缓存等,它通常用于 fork()后的子过程中。因为单元测试对过程无特殊要求,此处将之测试用例个别是不会引起副作用。
咱们能够简略批改下 _jb_unittest_runner.py
最初的逻辑,显式指定 exit=False
,即不让 unittest
调用 sys.exit()
,而是在内部调用 os._exit()
。
prog = main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING, exit=False) | |
os._exit(not prog.result.wasSuccessful()) |
办法三:优雅地退出线程
_jb_unittest_runner.py
在用例运行完结时向以后过程发送 SIGKILL
信号,用例线程收到此信号时,执行清理逻辑(如果需要的话)优雅退出,进而退出过程。这种办法会专门再开一篇具体讲讲,本篇晓得这种思路即可。
总结
如果通过 PyCharm 执行用例时触发了运行周期性工作的线程逻辑,那么就会导致用例执行实现却无奈退出。起因在 sys.exit()
用于退出以后线程而非过程,如果某线程并没有退出,就会造成过程无奈退出。而解决办法无外乎三种,不执行线程逻辑、退出过程或者优雅退出线程。