milvus 忽然连贯不上了
(UNKNOWN) [127.0.0.1] 19530 (?) : Connection refused
root@svddb:~# nc -zv 127.0.0.1 19530
localhost [127.0.0.1] 19530 (?) : Connection refused
root@svddb:~# nc -zv 127.0.0.1 8000
localhost [127.0.0.1] 8000 (?) open
周末的时候跑的好好的, 明天一看, 客户端连贯不上了, 我就登上部署 milvus 的机器, 应用 nc 命令试了试,后果:端口回绝
用 docker ps -a
看容器状态一切正常
用 docker logs -n 100 milvus-standalone
看 milvus 的日志,好多,不想看
关上 attu,发现 attu 也连贯不到 milvus
产生的起因是什么呢?milvus 的 bug 吗?
我也不晓得,所以我抉择重启 milvus 试试,而后看到了上面的输入,大略明确了,是磁盘满了
root@svddb:/opt/milvus# docker-compose restart
Restarting milvus-standalone ... error
Restarting milvus-etcd ... done
Restarting zilliz_attu ... done
Restarting milvus-minio ... done
ERROR: for milvus-standalone Cannot restart container 14dfffec1689ed17de43fa0551d3ea2284fc238fa4ff8ad5911fa94e06a30c6d: mkdir /var/lib/docker/overlay2/0653e1c8fed616fff53b215d6a8c09ebdf1a22732a4121750326c94168a653e2/merged: no space left on device
而后应用 df 命令看看,的确,40GB 都满了
root@svddb:/opt/milvus# df -h
Filesystem Size Used Avail Use% Mounted on
udev 3.8G 0 3.8G 0% /dev
tmpfs 782M 85M 697M 11% /run
/dev/vda1 40G 40G 0 100% /
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 50M 0 50M 0% /usr/local/aegis/cgroup
tmpfs 782M 0 782M 0% /run/user/0
上面就是考察是什么把磁盘写满了
应用 ncdu /
发现是一个 milvus 的日志把磁盘写满了
于是,先删除日志文件
root@svddb:/var/lib/docker/containers/14dfffec1689ed17de43fa0551d3ea2284fc238fa4ff8ad5911fa94e06a30c6d# rm -rf 14dfffec1689ed17de43fa0551d3ea2284fc238fa4ff8ad5911fa94e06a30c6d-json.log
而后重启 milvus
root@svddb:/opt/milvus# docker-compose restart
Restarting milvus-standalone ... done
Restarting milvus-etcd ... done
Restarting zilliz_attu ... done
Restarting milvus-minio ... done
于是乎,一切正常了
那为什么 milvus 会写这么多日志呢?
小龙:2.1.x 默认时 debug,2.2.x 默认时 info
所以,是 2.1 的日志级别太低了
我用的就是 milvus2.1.4
解决办法:
参考: Configure Milvus with Docker Compose or Helm