背景

须要在装备了Nvidia Geforce RTX 3060的工作站上装置对应的driver。为了在GPU上运行Triton，装置Nv container toolkits

步骤

一、在nv官网上查看适配本机显卡的型号

https://www.nvidia.com/Download/index.aspx?lang=en-us

查问到的Driver信息

下载下来之后间接执行。执行结束之后在terminal中可运行nvidia-smi查看GPU信息：

二、在Ubuntu上装置Docker和Nv Container Toolkits

Ubuntu20.04自身自带docker，然而因为Ubuntu官网零碎里自带的Docker版本不是最新的，为了装置最新版本，咱们要从官网Docker库里下载安装

  1. Docker装置形式
developer.aliyun.com/article/762674
  1. NV Container Toolkits装置形式
    首先介绍一下Container Toolkits的架构

能够看到，只有在宿主机上安装完GPU的Driver和CUDA Driver之后，才在docker上装置Container的Toolkits。具体参考：https://docs.nvidia.com/datac...

最终在Container中运行的后果相似与下图：

三、运行Triton

$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

其中，<xx,yy>是你当初拉去triton image时的版本。运行后果相似下图：