共计 796 个字符，预计需要花费 2 分钟才能阅读完成。
背景
须要在装备了 Nvidia Geforce RTX 3060 的工作站上装置对应的 driver。为了在 GPU 上运行 Triton，装置 Nv container toolkits
步骤
一、在 nv 官网上查看适配本机显卡的型号
https://www.nvidia.com/Download/index.aspx?lang=en-us
查问到的 Driver 信息
下载下来之后间接执行。执行结束之后在 terminal 中可运行 nvidia-smi 查看 GPU 信息：
二、在 Ubuntu 上装置 Docker 和 Nv Container Toolkits
Ubuntu20.04 自身自带 docker，然而因为 Ubuntu 官网零碎里自带的 Docker 版本不是最新的，为了装置最新版本，咱们要从官网 Docker 库里下载安装
- Docker 装置形式
developer.aliyun.com/article/762674- NV Container Toolkits 装置形式
首先介绍一下 Container Toolkits 的架构
能够看到，只有在宿主机上安装完 GPU 的 Driver 和 CUDA Driver 之后，才在 docker 上装置 Container 的 Toolkits。具体参考：https://docs.nvidia.com/datac…
最终在 Container 中运行的后果相似与下图：
三、运行 Triton
$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models其中，<xx,yy> 是你当初拉去 triton image 时的版本。运行后果相似下图：
正文完