乐趣区

关于nvidia:记一次Nvidia-DriverNividia-Container-Toolkits的安装过程

背景

须要在装备了 Nvidia Geforce RTX 3060 的工作站上装置对应的 driver。为了在 GPU 上运行 Triton,装置 Nv container toolkits

步骤

一、在 nv 官网上查看适配本机显卡的型号

https://www.nvidia.com/Download/index.aspx?lang=en-us

查问到的 Driver 信息

下载下来之后间接执行。执行结束之后在 terminal 中可运行 nvidia-smi 查看 GPU 信息:

二、在 Ubuntu 上装置 Docker 和 Nv Container Toolkits

Ubuntu20.04 自身自带 docker,然而因为 Ubuntu 官网零碎里自带的 Docker 版本不是最新的,为了装置最新版本,咱们要从官网 Docker 库里下载安装

  1. Docker 装置形式
developer.aliyun.com/article/762674
  1. NV Container Toolkits 装置形式
    首先介绍一下 Container Toolkits 的架构

能够看到,只有在宿主机上安装完 GPU 的 Driver 和 CUDA Driver 之后,才在 docker 上装置 Container 的 Toolkits。具体参考:https://docs.nvidia.com/datac…

最终在 Container 中运行的后果相似与下图:

三、运行 Triton

$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

其中,<xx,yy> 是你当初拉去 triton image 时的版本。运行后果相似下图:

退出移动版