Ubuntu 20.04下Pytorch深度学习环境搭建以及常用工具配置
作者:CoderJackZhu
从事计算机相关行业的在今后学习工作过程中总会接触到Linux系统,而且在很多情况下,Windows下可能会出现一些奇奇怪怪的bug,这些问题部分是系统的问题导致的,比如常见的路径中不能带中文。深度学习环境有时候为了更好的管理机器,取得更好的效率也常常采用Linux系统,这里选择Ubuntu是对于个人的萌新而言,应该选择尽量大众些的系统,出问题也容易找到解决办法,比如由于各种误操作,linux系统我至少已经重装过不下二十次了,为了更好的学习相关知识,这样一个系统的搭建也是需要的,这里写出这个博客为了方便使用,也让我之后重装系统的时候不用再找好几个博客了。
“双系统”中Ubuntu安装
这里的所说的双系统并不是真正的单个硬盘上多个挂载点的双系统,而是把第二个系统装在移动硬盘里面,这样正常开机默认还是Windows系统,需要选择系统就在进入系统时长按F11
(不同品牌电脑不同),选择相应的系统就可以进入了,这样的安装相比一个硬盘上多个挂载点简易不少,配置难度低,而且不易出问题,不然一不小心两个系统都不能用了,这样Linux出了问题只需要直接覆盖重装就可以了,下面是具体步骤:
准备需要的工具
这里软件方面需要准备的是,从官方网站上下载Ubuntu的镜像,以及刻录软件。刻录软件使用UltraIso或者balentEtcher都是可以的,balentEtcher相对操作更简易些。
硬件需要准备的是一个U盘用于制作启动盘,尽量大于等于16G,一个移动硬盘用于安装系统,尽量大于128G,毕竟实际使用过程中数据集也比较大,还是需要给后续留足空间。
制作启动盘
安装好Format后选择文件为之前下的系统镜像,选择硬件为U盘,然后点击Flash就可以了,等几分钟安装校验完就可以了。
安装
然后重启并选择使用刚才的U盘启动,就可以进入安装Ubuntu的界面了,正常使用的话选择中文汉语,正常安装,勾选安装第三方软件。这个时候可以插上移动硬盘了,然后输入自己的用户名密码什么的,之后就进入选择安装位置了,这里点击清理磁盘安装就可以了,不然挂载点就很不太好理解,然后下一步点击你插入的那个硬盘,这里注意别选错,根据你的硬盘大小就能判断出了,选错其他盘的话可能你的数据就凉了,然后下一步。然后选择地图上的位置为shanghai就可以了,之后就进入安装了,等一会安装完然后点击重新启动,然后根据提示拔掉U盘,然后开机的时候选择那个硬盘启动,这个时候硬盘的名字就已经是Ubuntu了,然后两次回车就可以进入系统了,到这里,系统的安装就算完成了。
深度学习Pytorch环境配置
正常使用深度学习环境跑代码,GPU是必不可少,这里只演示GPU版本的pytorch的安装,所需要的工具为Anaconda、CUDA、cuDNN、Pytorch。Anaconda可以用来管理不同版本的环境,CUDA和cuDNN是使用GPU计算所需要的工具这里需要注意相互之间的匹配关系,首先去pytorch官网可以看到
因此这里选择CUDA11.3,然后根据CUDA的版本,选择cuDNN的版本,具体在下载cuDNN的时候可以看到。
安装驱动
安装NVIDIA驱动有多种方式,比如可以去官网下载最新版,这里介绍最简单的一种,首先打开软件与更新,然后点附加驱动这里,系统默认用的是开源的的驱动,这里选最上面的几个版本高的就可以,这里安装的cuda11.3驱动至少要470以上,然后点击应用更改等一会就可以了。
安装完成之后在命令行输入nvidia-smi
就可以看到下图GPU情况,这就说明驱动基本没问题了。
下载安装cuda
这里找官方网站
可以看到这里默认是11.6版本的,这里点击下方中的Archive of Previous CUDA Releases
并选择对于的11.3版本,都是11.3的情况下选最后一位高的,之后进入以下界面,选择对应版本,然后先后输入下方的两行,第一行输入命令行,就开始下载了,下载完之后在对应的目录打开终端命令行,然后输入第二行,就开始安装了。
安装过程中看到勾选多个项目的时候,把第一项的X勾选框点下回车取消掉,由于之前已经安装了驱动,所有这里不需要安装里面附带的驱动,然后切换Install并点击回车,等待就可以安装好了。
然后添加路径,修改.bashrc
文件:
1 | sudo gedit ~/.bashrc |
#在末尾添加:
1 | export PATH=/usr/local/cuda/bin${PATH:+:${PATH}} |
更新刚才输入的内容,在命令行输入: source ~/.bashrc
安装成功输入nvcc -V
cuDNN的安装
到官网下载文件:点击如图Download cuDNN
按钮。下载需要NVIDIA的账号,没有的需要先注册一个。
然后进入下载界面并选择Previous Archive
选择CUDA11.x对于的cuDNNv8.2 选择Runtime Library版的deb文件进行下载:
安装cuDNN过程与CUDA类似:
在下载的文件的文件夹里面打开终端,执行命令sudo dpkg -i <name>
,其中<name>
为刚才下载的deb文件名
执行命令sudo apt install <name>
,其中<name>
要和自己下载的cudnn版本匹配,比如这里是libcudnn8
安装Anaconda
Anaconda用于控制版本管理,直接在系统的python里装不太方便,库的控制也不那么直观,使用Anaconda之后会方便很多。
这里直接从官网下载就可以,速度也不错,下载完之后在下载的文件夹打开终端,这里重点,命令行不要输入sudo
,直接sh <name>
name
为刚才下的文件名然后可以了,一路回车过完协议书,然后yes同意,然后要么回车要么yes就可以了。千万别在命令行前面加sudo
,这样anaconda3的文件夹就安装在root
下了,这样感觉有时候不方便;直接sh
就可以安装在你的主目录下,装好退出命令行就可以用了。
安装过程先一路回车,然后按要求都yes就好。
安装后退出命令行,然后重新进入命令行,然后输入conda
,若出现如下则证明安装成功,若出现command not found则重启系统,若还不行则需要添加环境变量。
添加环境变量
输入
1 | source ~/.bashrc |
再执行conda,若好则安装结束,否则手动添加环境变量
输入命令
1 | sudo vim ~/.bashrc |
若vim未安装,先安装,可以使用sudo apt install vim
安装(或者使用sudo gedit ~/.bashrc
也可打开文件),然后执行上述命令,然后在文件的最后添加,这里的内容不要直接复制,根据自己的用户名来定
1 | export |
输入完成后点击ESC
, 然后输入:wq
保存退出.
然后更新环境变量:
1 | source ~/.bashrc |
输入conda,检查是否配置成功。
创建环境并安装PyTorch
安装后一般应用栏里是没有这个软件的,需要在命令行中输入anaconda-navigator
等待进入就可以了,然后点左方的environment然后点下方的加号创建环境,想个环境的名字,选择需要的python版本,这里也可以使用命令来创建
1 | conda create -n <环境名> python=3.8 |
等待创建完成后在命令行中输入conda info -e
即可查看现有哪些环境
然后进入相应的环境输入下面命令,其中这里使用的环境名为env1
1 | source activate env1 |
即可激活,若为windows下则为conda activate env1
。
这样就进入环境了,随后输入pytorch官网上的命令:
1 | conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch |
如果速度慢,则需要换源,一般默认使用清华源为以下命令:
1 | conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ |
或者打开主目录下的隐藏文件.condarc
,将其内容整体更换为以下内容:
1 | ssl_verify: true |
然后运行 conda clean -i
清除索引缓存。
这时候安装命令就要把最后的-c pytorch
去掉,变成
1 | conda install pytorch torchvision torchaudio cudatoolkit=11.3 |
就可以很快的下载了。
若为单次换下载换源则命令为:
1 | pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ |
在后面加上需要安装的库名字即可。
验证安装成功
若全部安装完成,则新建一个python脚本hello.py,内容如下
1 | import torch |
即可查看详细情况,若cuda可用这里显示true就说明安装成功。
常用软件
深度学习环境其他非常常用的软件一般还有VScode和Pychram,一般这两个都安装比较好。
BT下载以及磁力链下载很多时候是需要的,因此需要下载工具
下载工具可以用Free Download Manger,还是非常好用的,还有qbittorrent和Motrix作为备用下载软件,这两个软件下载后不用安装,需要用的时候打开,也非常不错。
其他比如截屏剪切板等功能用utools也挺好,不过高级功能后来收费了。
windows下安装的差异
更新驱动
正常使用的话,下载GeForce Experience然后把驱动更新到最新版即可,或者手动下载驱动,没有特殊需要的话默认最新版就好。
安装cuda和cudnn
主体部分和linux下大同小异,按要求下载安装对应版本即可,安装cuda后打开命令行输入
1 | nvcc -V |
返回版本号说明安装cuda成功。
不过cudnn这里下载完后是复制到cuda对应的bin目录里面,一般是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA。
安装后有时候不能使用则需要添加环境变量,在系统环境变量里的Path项下添加几个路径
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\lib\x64
安装完成后进入路径然后运行测试,成功则为以下界面。
然后运行测试的代码即可。