关于nvidia:记一次Nvidia-DriverNividia-Container-Toolkits的安装过程

背景

须要在装备了 Nvidia Geforce RTX 3060 的工作站上装置对应的 driver。为了在 GPU 上运行 Triton，装置 Nv container toolkits

步骤

一、在 nv 官网上查看适配本机显卡的型号

https://www.nvidia.com/Download/index.aspx?lang=en-us

查问到的 Driver 信息

下载下来之后间接执行。执行结束之后在 terminal 中可运行 nvidia-smi 查看 GPU 信息：

二、在 Ubuntu 上装置 Docker 和 Nv Container Toolkits

Ubuntu20.04 自身自带 docker，然而因为 Ubuntu 官网零碎里自带的 Docker 版本不是最新的，为了装置最新版本，咱们要从官网 Docker 库里下载安装

1. Docker 装置形式

developer.aliyun.com/article/762674

2. NV Container Toolkits 装置形式
   首先介绍一下 Container Toolkits 的架构

能够看到，只有在宿主机上安装完 GPU 的 Driver 和 CUDA Driver 之后，才在 docker 上装置 Container 的 Toolkits。具体参考：https://docs.nvidia.com/datac…

最终在 Container 中运行的后果相似与下图：

三、运行 Triton

$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

其中，<xx,yy> 是你当初拉去 triton image 时的版本。运行后果相似下图：