问题
在 Django 中使用 mysql 偶尔会出现数据库连接丢失的情况,错误通常有如下两种
1. `OperationalError: (2006, ‘MySQL server has gone away’)`
1. `OperationalError: (2013, ‘Lost connection to MySQL server during query’)`
查询 mysql 全局变量 SHOW GLOBAL VARIABLES; 可以看到 wait_timeout,此变量表示连接空闲时间。如果客户端使用一个连接查询多次数据库,如果连续查询则没有问题,如果查询几次后停顿超过 wait_timeout 后再次查询就会出现数据库连接丢失。
复现
下面用 Django 复现下次问题:
将 mysql 的 wait_timeout 设置为 10 秒,然后进入 django shell 模拟查询(以下错误信息只保留了部分)
In[1]:import time
In[2]:from django.contrib.auth.models import User
In[3]:list(User.objects.filter(id=1))
Out[3]:[<User: admin>]
In[4]:time.sleep(15) # 模拟比较慢的代码(其中没有查询数据库的代码),或者空闲什么都不操作一段时间,此时间要比 `wait_timeout` 大一些
list(User.objects.filter(id=1))
Traceback (most recent call last):
File “<ipython-input-4-3574ae8220ee>”, line 1, in <module>
list(User.objects.filter(id=1))
File “/usr/lib/python3.6/site-packages/pymysql/connections.py”, line 1037, in _read_bytes
CR.CR_SERVER_LOST, “Lost connection to MySQL server during query”)
django.db.utils.OperationalError: (2013, ‘Lost connection to MySQL server during query’)
寻求
那么以上问题就基本说明了是空闲时间过长导致的错误。django 为了减少不必要的数据库连接、关闭,复用了数据库连接,当开始一个请求后建立一个连接池存放连接,之后此次请求都复用一个连接。那猜测就是 django 保存连接的比 wait_timeout 长了,如果保存时间短一些就可以重新建立连接避免此错误了。没错,官方文档也已经说明了此问题,设置数据库 CONN_MAX_AGE 参数,示例:
DATABASES = {
“default”: {
‘ENGINE’: ‘django.db.backends.mysql’,
‘NAME’: ”,
‘USER’: ”,
‘PASSWORD’: ”,
‘HOST’: ”,
‘CONN_MAX_AGE’: 9 # 比 wait_timeout 小一些
}
}
当我们测试后却发现,事情并非想想中那么简单。为何错误依旧出现?这一切的背后,是人性的扭曲还是道德的沦丧? 敬请收看下节《突破》。
突破
对 django 源码中 CONN_MAX_AGE 进行了一番搜索,顺藤摸瓜发现了 django 关闭失效连接的方法 django.db.close_old_connections():
# Register an event to reset transaction state and close connections past
# their lifetime.
def close_old_connections(**kwargs):
for conn in connections.all():
conn.close_if_unusable_or_obsolete()
signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)
重点在最后两行,通过 signal 实现特定事件时执行此方法,两个特定事件顾名思义是请求开始和请求结束。而我们报错的是在一次请求中,所以此法通常无效,仅仅是实现每个请求关闭并重新建立连接。
解决
复现问题的 django shell 不要关闭,继续执行如下代码:
In[5]:from django.db import close_old_connections
In[6]:close_old_connections()
In[7]:list(User.objects.filter(id=1))
Out[7]: [<User: admin>]
调用 django.db.close_old_connections 后再次查询就没有错误了。那么我们要避免此错误就要执行每个数据库查询前调用 django.db.close_old_connections 方法。
一般情况不会出现此类问题,因为一个请求中不间断进行数据库查询,无需每个请求调用此方法,杞人忧天。
有时候一个请求中数据量较大,会查询数据库后进行一段时间其他(不涉及数据库)处理,比如先查询一些数据,然后将数据处理、生成 excel、保存文件并生成 url。已知此过长需要非常长时间,那么最终 url 保存数据库就最好先调用 django.db.close_old_connections 防止连接丢失
题外话实际上②所述情况最好从根本上解决处理慢的问题,也可以换作异步处理,从根本上解决问题。