Linux和Windows零碎下装置深度学习框架所需反对:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本具体装置过程
1.下载 Anaconda 的安装包
Anaconda装置:Anaconda是一个开源的Python发行版本,其蕴含了conda、Python等180多个迷信包及其依赖项。应用Anaconda能够通过创立多个独立的Python环境,防止用户的Python环境装置太多不同版本依赖导致抵触。
1.1 Linux下载Anaconda
首先须要在官网上抉择须要装置的版本。
官网地址:https://repo.anaconda.com/archive/ 如抉择以后最新版本进行装置:
https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x...
而后下载该安装包。
下载命令wget https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x86_64.sh
- 进入安装包所在目录,先对安装包进行赋权,再执行安装程序
#查看门路pwd赋权命令:chmod +x Anaconda3-2023.07-0-Linux-x86_64.sh装置命令:sh Anaconda3-2023.07-0-Linux-x86_64.sh
- 呈现如下画面:
- 点击 Enter(回车键),呈现 More,持续按 Enter,最初输出 yes 批准用户许可证就行。
- 直至呈现以下画面,就装置胜利了!
1.2 Windows下载Anaconda
参考文章:https://blog.csdn.net/sinat_39620217/article/details/115861876
- 第一步 下载
- 在 Anaconda官网 抉择下载Windows Python3.8 64-Bit版本。
- 确保曾经装置Visual C++ Build Tools(能够在开始菜单中找到),如未装置,请点击 下载安装。
- 第二步 装置
运行下载的安装包(以.exe为后辍),依据疏导实现装置, 用户可自行批改装置目录(如下图)
- 第三步 应用
点击Windows零碎左下角的Windows图标,关上:所有程序->Anaconda3/2(64-bit)->Anaconda Prompt在命令行中执行指令即可
后续框架库包装置同linux
2.环境变量配置
2.1 linux环境变量配置
Linux上胜利装置anaconda后-bash: conda: command not found
如题,呈现这个问题可能是环境变量配置有问题。
省流请看这里:执行cat ~/.bashrc
命令查看.bashrc
文件内容,若文件中没有export PATH="XXX/anaconda3/bin:$PATH"
阐明是环境变量未配置,能够持续往下看了;若文件中有此门路,请退出本文,自行校对一下门路。
- 关上
.bashrc
文件
vim ~/.bashrc
- 在最初一行新增 anaconda 门路
export PATH="XXX/anaconda3/bin:$PATH"
保留文件(按
esc
后输出:wq
回车)并使环境变量失效[关上文件后按i进入编辑模式,按Esc退出编辑模式,shift+冒号而后输出wq 保留文件并退出]留神:这里是anaconda的装置门路,依据本人的装置门路即可
source ~/.bashrc
执行以上三步后,便可在linux上应用conda命令了!
2.2 Windows 环境变量配置
其实,以上的环境变量配置,相当于在window环境下的环境变量加上环境变量。如在window环境下装置anaconda,装置过程中会提醒是否将环境变量退出到path中,如果选上该选项,便可省去很多麻烦,装置完后间接在终端应用conda命令;
如果没有选上,是无奈间接应用conda命令的,须要在零碎的环境变量中加上装置门路才能够应用conda命令。主动增加的装置门路的步骤:此电脑–>属性–>高级零碎设置–>环境变量–>零碎变量–>Path增加anaconda的装置门路。
3.用 conda 创立虚拟环境
#1.创立指定python版本的环境conda create --name paddlenlp python=3.8#2. 激活环境conda activate paddlenlp#3.退出环境conda deactivate
4.装置我的项目依赖包&深度学习框架
4.1装置我的项目依赖包
装置我的项目requirement.txt文件依赖:pip install -r requirement.txt生成requirement.txt文件:pip freeze > requirements.txt
4.2 装置Paddle&Paddlenlp
4.2.1 装置paddle
官网:https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html
windows装置应用win下指令即可
- conda装置
conda install paddlepaddle-gpu==2.4.2 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
- pip装置
pip install paddlepaddle-gpu==2.4.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
- 验证装置
装置实现后您能够应用 python3 进入 python 解释器,输出import paddle ,再输出 paddle.utils.run_check()
import paddlepaddle.utils.run_check()
如果呈现PaddlePaddle is installed successfully!,阐明您已胜利装置。
- 报错:ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory
解决办法:
- 简洁版(省流)
在激活后执行export LD_LIBRARY_PATH="$CONDA_PREFIX/lib"将包含libcudart.so.11.0如果你想让它自动化,将此内容增加到env-prefix/etc/conda/activate.d/env_vars.sh,这将在conda activate上运行脚本并设置LD_LIBRARY_PATH
cd $CONDA_PREFIXmkdir -p ./etc/conda/activate.dtouch ./etc/conda/activate.d/env_vars.sh#写入 并保留vim ./etc/conda/activate.d/env_vars.shexport LD_LIBRARY_PATH="$CONDA_PREFIX/lib"
具体版
activate你的虚拟环境,查看虚拟环境门路
echo $CONDA_PREFIX
- 去这个门路下建设这些文件夹和文件。在activate的时候,会主动运行activate.d/env_vars.sh,deactivate的时候,会主动运行deactivate.d/env_vars.sh。你能够设置任何你想设置的变量,这里咱们更改LD_LIBRARY_PATH
cd $CONDA_PREFIXmkdir -p ./etc/conda/activate.dmkdir -p ./etc/conda/deactivate.dtouch ./etc/conda/activate.d/env_vars.shtouch ./etc/conda/deactivate.d/env_vars.sh
编辑activate.d/env_vars.sh,留神换成你的名字,留神=前后不能有空格哦
export OLD_LD_LIBRARY_PATH=${LD_LIBRARY_PATH}export LD_LIBRARY_PATH=anaconda3/envs/your_name/lib64
编辑deactivate.d/env_vars.sh,这样deactivate的时候,会复原设置
export LD_LIBRARY_PATH=${OLD_LD_LIBRARY_PATH}unset OLD_LD_LIBRARY_PATH
4. deactivate虚拟环境,再次activate你的虚拟环境,再查看```echo $CONDA_PREFIX```能够看到曾经变成了anaconda3/envs/your_name/lib64。如果这个门路下的gcc曾经含有了GLIBCXX_3.4.20,那么就不再会报错了。
4.2.2 装置paddlenlp
环境依赖
- python >= 3.7
- paddlepaddle >= 2.3
- pip装置
#创立名为my_paddlenlp的环境,指定Python版本为3.8conda create -n my_paddlenlp python=3.8#进入my_paddlenlp环境conda activate my_paddlenlp#装置PaddleNLPpip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.org/simplepip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.tuna.tsinghua.edu.cn/simple
github代码会追随开发进度不断更新:或者可通过以下命令装置最新 develop 分支代码:
pip install --pre --upgrade paddlenlp -f https://www.paddlepaddle.org.cn/whl/paddlenlp.html
按如上形式配置后,即可在环境中应用PaddleNLP了,命令行输出python回车后,import paddlenlp试试吧,之后再次应用都能够通过关上'所有程序->Anaconda3/2(64-bit)->Anaconda Prompt',再执行conda activate my_paddlenlp进入环境后,即可再次应用PaddleNLP。
- 相干pip问题默认镜像问题(trusted-host问题),装置设定清华源即可
进入虚拟环境,查看pip装置门路
whereis pippip: /usr/bin/pip3.8 /etc/pip.conf /root/anaconda3/envs/paddlenlp/bin/pip
#查看pip.conf,批改成清华源,:wq 保留即可vim /etc/pip.conf
[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple/[install]trusted-host=pypi.tuna.tsinghua.edu.cn
- 代码装置
git clone https://github.com/PaddlePaddle/PaddleNLP.gitcd PaddleNLPgit checkout develop
如果遇到:github 报错 Failed to connect to github.com port 443:connection timed out、个别起因:电脑里开启了代理,例如开启了翻墙软件等,就会造成这个起因
勾销全局代理:git config --global --unset http.proxy git config --global --unset https.proxy
4.3 装置pytorch
4.3.1 GPU版本装置
装置 pytorch 须要留神 torch 与 torchvision 的版本对应,参照以下网址对照:
https://github.com/pytorch/vision
windows装置应用win下指令即可
从官网上找到适宜本人版本的装置pytorch的指令 https://pytorch.org/get-started/locally/
- 创立虚拟环境,参考3.用 conda 创立虚拟环境
- 装置pytorch
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
4.3.2 CPU版本装置
参考:https://blog.csdn.net/sinat_39620217/article/details/115483807
pip install torch torchvision torchaudio
更多优质内容请关注公号&知乎:汀丶人工智能;会提供一些相干的资源和优质文章,收费获取浏览。
本文参加了 SegmentFault 思否写作挑战「摸索编码世界之旅 - 记我的第一份编程工作」,欢送正在浏览的你也退出。