关于深度学习:主机回来以及简单的环境配置RTX3070CUDA111CUDNNTensorRT

79次阅读

共计 5898 个字符，预计需要花费 15 分钟才能阅读完成。

紧接着前几天的事：

  • 非凡的日子，想起了当年的双 (1080TI) 显卡装机实录

和

  • 炼丹炉买不起了: 聊一聊这段日子的显卡行情

之后，决定买一台整机玩玩。

而当初，主机终于回！来！了！主机回来干什么，当然是——配置环境。

老潘之前也有一些配置环境的文章，能够参考：

  • ubuntu16.04 下装置 NVIDIA（cuda）-gtx965m 相干步骤以及问题
  • pytorch-0.2 胜利调用 GPU：ubuntu16.04，Nvidia 驱动装置以及最新 cuda9.0 与 cudnnV7.0 配置
  • win10 下装置应用 pytorch 以及 cuda9、cudnn7.0
  • 装置 cuda9.1 内核问题：Unable to locate the kernel source
  • 深度学习 - 在 ubuntu16.04 装置 CUDA9.1- 总结(问题齐全解决方案)
  • 对于在 ubuntu 上源码装置 TensorFLow-1.7.0-cuda9.1-cudnn7.1.2 过程中问题解决方案

-_-|| 没想到那会写了这么多配置环境的文章，可能那会遇到的问题比拟多吧 … 配环境什么的，其实只有严格依照步骤来一步一步配，基本上不会呈现什么问题，呈现问题个别都是咱们 某一步没有走对 ，而退回去再走 比拟麻烦 而已。

而当初对于配环境来说能够是 驾轻就熟 了(前几年不晓得踩了多少坑，到当初都印象粗浅)，严格依照步骤来，装置 Ubuntu 和配置深度学习环境，1 个小时多就搞定了。

接下来稍微具体地讲一下过程。

  • Windows 下装置 Ubuntu-18.04
  • 配置深度学习环境(Cuda+Cudnn+Pytorch+TensorRT)

主机长这样

先放一组图吧。

早晨开机还挺炫的，但其实对于老潘来说炫不炫不重要，性能好就行 …

主机配环境

主机回来店家只给我装了 Windows 零碎，对于老潘来说，打游戏是主要的 (哈哈哈哈 …)，忍住了先下载一个 鬼泣 5 玩玩的想法。先从 Ubuntu 官网下载了官网的镜像包。

官网最新的 Ubuntu 是20.10，但对于搞事的人来说，还是 18.04 版本好一些(之前实验室用的是 16.04)。

开始配置双系统，双系统是必须的，Ubuntu 能够搞深度学习，也能够当服务器使，Windows 则能够应酬一些游戏和其余应急利用。

对于如何将下载好的 Ubuntu 零碎镜像制作成 U 盘、如何装置，老潘这里不赘述了。能够看以下这篇文章，介绍的很具体，我就是依照这个严格来执行的：

  • Windows 下装置 Ubuntu 具体教程

当然如果有问题欢送交换，间接留言即可~

装置过程

尽管不赘述了，但还是简略过一下：

进入 BIOS，抉择 Ubuntu 启动 U 盘，而后开始装置 Ubuntu：

其余一路点点点，而后简略分个区。

而后开始装置 …

期待半小时，装好了！

设置 SSH

为什么要设置ssh，当然是想让这个 Ubuntu 充当一个服务器的作用，开启之后能够应用 ssh 登录去操作。

例如我，能够先把服务器开了，而后应用其余电脑，例如 MAC，应用局域网通过 SSH 连贯这个服务器即可。

怎么开启 ssh 呢？新的 Ubuntu 零碎还没有装置 SSH。

执行以下命令：

sudo apt install openssh-server
sudo systemctl start ssh.service

而后能够通过 netstat -lnp | grep 22 查看下开启没。

如果想要每次启动主动开启 SSH，能够这样：

sudo systemctl enable ssh

这样就差不多啦。

装置 NVIDIA 显卡驱动

默认 Ubuntu 装置的是 llvmpipe 这个显卡驱动，这个是 linux 下的专用显卡驱动，当初须要换成 NVIDIA 的。

首先禁用nouveau。

执行sudo gedit /etc/modprobe.d/blacklist.conf

加上以下这两句：

blacklist nouveau
options nouveau modest=0

保留后，而后执行：

sudo updata-initramfs -u
sudo reboot

重启后，Ctrl+Alt+F1切换到 tty 界面，敞开lightdm(如果没有则不必管)：

sudo service lightdm stop

而后更新一下 apt 源以及看一下零碎举荐的 NVIDIA 驱动版本：

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
ubuntu-drivers devices

依据举荐的驱动版本，装置 NVIDIA 驱动：

sudo apt-get install nvidia-driver-460

如果嫌慢，能够增加阿里或者清华源：

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bcakup
sudo gedit /etc/apt/sources.list

备份之后关上文件，增加以下源即可：

# 阿里云源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
## 測試版源
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
# 源碼
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
## 測試版源
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse


# 清华大学源
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
## 測試版源
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
# 源碼
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
## 測試版源
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

别忘了增加之后，进行更新二连：

sudo apt-get update
sudo apt-get upgrade

这样就能够顺利的装置 NVIDIA 驱动了。

而后下载好以下 三个深度学习伴侣：

开始装置吧！

装置 Cuda、Cudnn

Cuda 当然是必须要装的。

找到下载好的11.1cuda 环境包(当初进去 11.2 了)，而后执行：

sudo sh cuda_11.1.0_455.23.05_linux.run

会进去一堆 blabla 的选项：

  • 1、确保你环境外头是否有旧的 cuda，有的话倡议删除
  • 2、批准条款..
  • 3、确认是否要装置驱动、装置 demo… 以及装置地位确定
  • 4、开始装置 ing

对于老潘来说，上一步中曾经装置了 cuda 驱动，不须要再装旧版的 (新版驱动兼容旧版驱动匹配的 cuda)，所以这里就把 驱动选项去掉，其余的装置依照我的需要循序渐进来就好。

留神
如果你没有 root 权限，无奈应用sudo，想要装置 cuda 也是能够的。只有自定义好装置地位即可，运行如下命令即可将 cuda 装置到以后 home 下的 software 文件夹内：

./cuda_11.1.0_455.23.05_linux.run --silent --toolkit --toolkitpath=$HOME/software/cuda --defaultroot=$HOME/software/cuda

不管咋样装置好之后会显示：

依照下面的要求配置环境变量即可:

(base) oldpan@oldpan-fun:~/software$ vim ~/.bashrc  

将
export PATH=/usr/local/cuda-11.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64:$LD_LIBRARY_PATH
增加到关上的文件中

(base) oldpan@oldpan-fun:~/software$ source ~/.bashrc
(base) oldpan@oldpan-fun:~/software$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Tue_Sep_15_19:10:02_PDT_2020
Cuda compilation tools, release 11.1, V11.1.74
Build cuda_11.1.TC455_06.29069683_0

Cudnn

cudnn 的装置就比较简单了，解决压缩包而后复制粘贴就行：

tar -xzvf cudnn-11.2-linux-x64-v8.1.1.33.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h

装置 Anaconda

装置 Anaconda 也很简略，从这里下载好(不想下的看老潘整顿文末的软件包)：

而后 sh Anaconda3-2020.11-Linux-x86_64.sh 就行。

装置好之后，配置 conda 以及 pip 清华源，参考以下文字即可：

  • pycharm 批改 pip 源为清华源, 进步下载速度
  • anaconda 常用命令配置信息及更换源

装置 Pytorch

装置 Pytorch 就比较简单了，如果不想本人编译，间接从官网依照你的 Cuda 版本和 Cudnn 版本装置即可：

https://download.pytorch.org/…

装置好 Pytorch 之后，测试一下 cuda 是否工作失常：

>>> import torch
>>> torch.cuda.is_available()
True
>>> torch.ones(1).cuda()
tensor([1.], device='cuda:0')
>>> torch.cudnn_is_acceptable(torch.ones(1).cuda())
True

OK~

TensorRT

TensorRT 独自发一篇文章来说吧~

一些资源

配环境须要很多 软件包，例如：

  • Anaconda
  • Pytorch.whl
  • TensorRT
  • CUDA
  • CUDNN

有些能够在清华大学开源软件镜像站下载，然而 TensorRT 和 CUDA、CUDNN 须要从官网下而且须要注册而且很慢。

老潘整顿了一些曾经下载好的软件包。

公众号内回复 015 获取，能够看看有没有你须要的：

想写的还有很多，下篇再讲(呼呼)。

如果有问题欢送留言，欢送关注「oldpan 博客」公众号，老潘的全副家当都在这里了。很违心与你交朋友~

参考

https://www.cnblogs.com/masba…
https://blog.csdn.net/ZPeng_C…

撩我吧

  • 如果你与我气味相投于此，老潘很违心与你交换；
  • 如果你喜爱老潘的内容，欢送关注和反对。
  • 如果你喜爱我的文章，心愿点赞???? 珍藏 ???? 评论 ???? 三连一下~

想晓得老潘是如何学习踩坑的，想与我交换问题~ 请关注公众号「oldpan 博客」。
老潘也会整顿一些本人的私藏，心愿能帮忙到大家，点击神秘传送门获取。

正文完
深度学习
发表至： 深度学习
2021-03-07
 0
关于深度学习:PyTorch-模型性能分析和优化-第-2-部分
关于深度学习:议题回顾丨中国人寿寿险APP合规之路经验分享
关于深度学习:Pytorch创建多任务学习模型
关于深度学习:HARDOX600