关于python:为什么使用-PyCharm-运行用例成功却无法退出

本文同步公布于字节话云公众号。

前言

前段时间因为将我的项目应用的某 SDK 进行了降级，在应用 PyCharm+unittest 运行一个用例时，能运行并输入果，却始终无奈退出用例。随着排查的深刻，发现是此 SDK 中的线程在“作怪”。

用简略的代码复现

简略起见，上面这段代码（Python 2）蕴含了简略的线程逻辑和一个用例，来复现遇到的问题：

# coding: utf-8
import threading
import time
import unittest


def tick():
    while True:
        print('tick')
        time.sleep(3)


t = threading.Thread(target=tick)
t.start()


class TestString(unittest.TestCase):
    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

这段代码开启了一个线程，每隔 3 秒输入 tick。另一方面，定义了一个用例，判断字符串的 upper() 办法。如果删除线程逻辑，用例能失常完结；反之，PyCharm 显示用例执行胜利，却始终无奈退出用例，如下图所示：

为什么不能退出？

运行用例前肯定会开启新线程，执行 tick() 函数，因为此函数应用 while 循环不断输入字符串，不难推断出是用例框架在退出时始终期待线程完结，进而导致用例无奈退出。

为了验证这个想法，无妨查看 PyCharm 运行用例的入口代码。不同的操作系统、PyCharm（社区版、专业版）和单测框架下用例入口文件门路都有所不同。Mac 上的 PyCharm 社区版针对 unittest 的用例入口文件门路为 "/Applications/PyCharm CE.app/Contents/plugins/python-ce/helpers/pycharm/_jb_unittest_runner.py"，该文件内容如下：

# coding=utf-8
import os
import sys
from unittest import main

from _jb_runner_tools import jb_start_tests, jb_doc_args, JB_DISABLE_BUFFERING, PROJECT_DIR
from teamcity import unittestpy

if __name__ == '__main__':
    path, targets, additional_args = jb_start_tests()

    args = ["python -m unittest"]
    if path:
        assert os.path.exists(path), "{0}: No such file or directory".format(path)
        if sys.version_info > (3, 0) and os.path.isfile(path):
            # In Py3 it is possible to run script directly which is much more stable than discovery machinery
            # For example it supports hyphens in file names PY-23549
            additional_args = [path] + additional_args
        else:
            discovery_args = ["discover", "-s"]
            # Unittest in py2 does not support running script directly (and folders in py2 and py3),
            # but it can use "discover" to find all tests in some folder (optionally filtering by script)
            if os.path.isfile(path):
                discovery_args += [os.path.dirname(path), "-p", os.path.basename(path)]
            else:
                discovery_args.append(path)
            discovery_args += ["-t", PROJECT_DIR]  # To force unit calculate path relative to this folder
            additional_args = discovery_args + additional_args
    elif targets:
        additional_args += targets
    args += additional_args
    jb_doc_args("unittests", args)
    # Working dir should be on path, that is how unittest work when launched from command line
    sys.path.insert(0, PROJECT_DIR)
    sys.exit(main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING))

后面的逻辑次要是在组合运行用例的参数，对本文遇到的问题而言最要害是最初一行 main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING)，这里的main 就是 unittest.TestProgram，而相干核心内容如下：

class TestProgram(object):
    """A command-line program that runs a set of tests; this is primarily
       for making test modules conveniently executable.
    """
    USAGE = USAGE_FROM_MODULE

    # defaults for testing
    failfast = catchbreak = buffer = progName = None

    def __init__(self, module='__main__', defaultTest=None, argv=None,
                    testRunner=None, testLoader=loader.defaultTestLoader,
                    exit=True, verbosity=1, failfast=None, catchbreak=None,
                    buffer=None):
        ...
        self.exit = exit
        ...
        self.parseArgs(argv)
        self.runTests()

    def runTests(self):
        ...
        self.result = testRunner.run(self.test)
        if self.exit:
            sys.exit(not self.result.wasSuccessful())

PyCharm 的 _jb_unittest_runner.py 调用 main()（即 TestProgram()）时，没有传入 exit 参数，因而取默认值 True，在指定 runTests() 运行用例的最初，依据用例后果决定 退出码 （0 或1），进而调用 sys.exit() 退出用例执行过程。在此处打断点会发现始终卡在此句。

sys.exit() 的作用是退出以后线程，如果其余线程并没有完结，过程天然就不会完结。很显然，tick 函数所在的线程并没有被显式退出，就导致用例已被运行胜利，却无奈退出的景象。

该如何解决？

既然明确了起因，解决思路也就跃然纸上。

办法一：运行用例时不执行线程逻辑

如果执行周期性工作的线程逻辑并非用例所需，可通过环境变量、配置文件等形式进行管制，在运行用例时不执行线程逻辑，进而防止用例无奈退出。

办法二：显式退出过程而不是线程

应用 os._exit(n) 退出过程。须要留神的是，这种形式并不会调用清理逻辑、刷新规范 IO 缓存等，它通常用于 fork()后的子过程中。因为单元测试对过程无特殊要求，此处将之测试用例个别是不会引起副作用。

咱们能够简略批改下 _jb_unittest_runner.py 最初的逻辑，显式指定 exit=False，即不让 unittest 调用 sys.exit()，而是在内部调用 os._exit()。

prog = main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING, exit=False)
os._exit(not prog.result.wasSuccessful())

办法三：优雅地退出线程

_jb_unittest_runner.py 在用例运行完结时向以后过程发送 SIGKILL 信号，用例线程收到此信号时，执行清理逻辑（如果需要的话）优雅退出，进而退出过程。这种办法会专门再开一篇具体讲讲，本篇晓得这种思路即可。

总结

如果通过 PyCharm 执行用例时触发了运行周期性工作的线程逻辑，那么就会导致用例执行实现却无奈退出。起因在 sys.exit() 用于退出以后线程而非过程，如果某线程并没有退出，就会造成过程无奈退出。而解决办法无外乎三种，不执行线程逻辑、退出过程或者优雅退出线程。