cuda toolkit 和驱动版本的对应关系: [链接]查看 cuda toolkit 历史版本：[链接]nv 驱动下载地址：[链接]

转置是深度模型中利用最宽泛的算子之一。各种深度学习框架崛起的明天，它被“隔离”到了框架的底层，不再显式的沉闷于用户背后。谈及转置，就不得不先聊聊卷积…

装置minianaconda创立虚拟环境 {代码…} 激活与退出环境 {代码…} 装置pytorch抉择什么版本的cuda？torch官网：[链接] {代码…} 装置nvcc，理论就是装置cu…

撰文｜郑泽康InsightFace模型里大量应用了PReLU激活函数，而PReLU的工作模式有两种：PReLU(1)，此时权重alpha的形态为(1, )，等价于一个Elementwise操作。PRe…

近年来，主动混合精度（Auto Mixed-Precision，AMP）技术在各大深度学习训练框架中作为一种应用简略、代价低廉、效果显著的训练减速伎俩，被越来越宽泛地利用到算法钻研中。然而大部分对于混合精度训练的文章个别停留在框架接口介绍、如何防止 FP16 类型带来的精度损失以及如何避免出现 NaN 等根底原理和应用技巧方面，…

单精度矩阵乘法（SGEMM）简直是每一位学习 CUDA 的同学绕不开的案例，这个经典的计算密集型案例能够很好地展现 GPU 编程中罕用的优化技巧，而是否写出高效率的 SGEMM Kernel，也是反映一位 CUDA 程序员对 GPU 体系结构的了解水平的优良考题。本文将具体介绍 CUDA SGEMM 的优化伎俩，适宜认真浏览过 《CUDA C++ Programmi…

太长不看版python3.8 (必须应用ubuntu 2004)看前一篇文章。python3.6 (ubuntu 2004/1804均可)下载文件 {代码…} 应用pip装置 {代码…} 其余版本python不反对其余操作系统兴许能够霸王硬上弓心愿晓得文件起源或者离线应用看注释注释前一篇文章写了python3.8/CUDA 11的环境下装置，尽管非常不便，然而这种办法局限于pyth…

2020 年 5 月 Nvidia 公布了新一代的 GPU 架构安培（Ampere）。其中和深度学习关系最亲密的莫过于性能强劲的第三代的 TensorCore ，新一代的 TensorCore 反对了更为丰盛的 DL（Deep Learning）数据类型，包含了新的 TesorFloat-32（TF32），Bfloat16（BF16）计算单元以及 INT8, INT4 和 INT1 的计算单元，这些计算单元为…

最近一段时间一直在负责做我厂神经网络前向框架库的优化，前几天接了一个bug report，报错信息大体是这样的：

python & cuda & cudnn & 显卡型 & tensorflow 版本如果匹配不好，可能会踩坑。。本篇文章，讲述了 全套安装过程 与 我所踩过的坑。