乐趣区

关于python:milvus-异常无法连接

milvus 忽然连贯不上了

(UNKNOWN) [127.0.0.1] 19530 (?) : Connection refused
root@svddb:~# nc -zv 127.0.0.1 19530
localhost [127.0.0.1] 19530 (?) : Connection refused
root@svddb:~# nc -zv 127.0.0.1 8000
localhost [127.0.0.1] 8000 (?) open

周末的时候跑的好好的, 明天一看, 客户端连贯不上了, 我就登上部署 milvus 的机器, 应用 nc 命令试了试,后果:端口回绝

docker ps -a 看容器状态一切正常

docker logs -n 100 milvus-standalone 看 milvus 的日志,好多,不想看

关上 attu,发现 attu 也连贯不到 milvus

产生的起因是什么呢?milvus 的 bug 吗?

我也不晓得,所以我抉择重启 milvus 试试,而后看到了上面的输入,大略明确了,是磁盘满了

root@svddb:/opt/milvus# docker-compose restart 
Restarting milvus-standalone ... error
Restarting milvus-etcd       ... done
Restarting zilliz_attu       ... done
Restarting milvus-minio      ... done

ERROR: for milvus-standalone  Cannot restart container 14dfffec1689ed17de43fa0551d3ea2284fc238fa4ff8ad5911fa94e06a30c6d: mkdir /var/lib/docker/overlay2/0653e1c8fed616fff53b215d6a8c09ebdf1a22732a4121750326c94168a653e2/merged: no space left on device

而后应用 df 命令看看,的确,40GB 都满了

root@svddb:/opt/milvus# df -h
Filesystem      Size  Used Avail Use% Mounted on
udev            3.8G     0  3.8G   0% /dev
tmpfs           782M   85M  697M  11% /run
/dev/vda1        40G   40G     0 100% /
tmpfs           3.9G     0  3.9G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            50M     0   50M   0% /usr/local/aegis/cgroup
tmpfs           782M     0  782M   0% /run/user/0

上面就是考察是什么把磁盘写满了

应用 ncdu / 发现是一个 milvus 的日志把磁盘写满了

于是,先删除日志文件

root@svddb:/var/lib/docker/containers/14dfffec1689ed17de43fa0551d3ea2284fc238fa4ff8ad5911fa94e06a30c6d# rm -rf 14dfffec1689ed17de43fa0551d3ea2284fc238fa4ff8ad5911fa94e06a30c6d-json.log

而后重启 milvus

root@svddb:/opt/milvus# docker-compose restart
Restarting milvus-standalone ... done
Restarting milvus-etcd       ... done
Restarting zilliz_attu       ... done
Restarting milvus-minio      ... done

于是乎,一切正常了


那为什么 milvus 会写这么多日志呢?

小龙:2.1.x 默认时 debug,2.2.x 默认时 info

所以,是 2.1 的日志级别太低了

我用的就是 milvus2.1.4


解决办法:

参考: Configure Milvus with Docker Compose or Helm

退出移动版