Ubuntu20.04与Nvidia显卡：配置Pytorch深度学习环境(Pytorch1.4.0+CUDA10.0+cuDNN7.4) + 远程Jupyter服务 + 配置Pycharm远程连接

本文主要是介绍Ubuntu20.04与Nvidia显卡：配置Pytorch深度学习环境(Pytorch1.4.0+CUDA10.0+cuDNN7.4) + 远程Jupyter服务 + 配置Pycharm远程连接，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

0️⃣ `gcc`降级
1️⃣ 配置`Pytorch`深度学习环境与`Nvidia`显卡
- 1️⃣.1️⃣ 配置`Anaconda`
- - 1️⃣.1️⃣.1️⃣下载`Anaconda`
  - 1️⃣.1️⃣.2️⃣ `conda`换源
  - 1️⃣.1️⃣.3️⃣ `conda`创建新环境
- 1️⃣.2️⃣ `Ubuntu20.04`安装`Nvidia`显卡驱动
- - 1️⃣.2️⃣.1️⃣ 禁用`nouveau`
  - 1️⃣.2️⃣.2️⃣ 控制面板中安装`Nvidia`驱动
- 1️⃣.3️⃣ 配置`CUDA`
- 1️⃣.4️⃣ 配置`cuDNN`
- 1️⃣.5️⃣ 安装`Pytorch`
2️⃣ 配置远程`Jupyter Notebook`服务
- 2️⃣.1️⃣ `Ubuntu`服务器设置
- 2️⃣.2️⃣ 本地连接远程服务器
- 2️⃣.3️⃣ `Jupyter Notebook `更换`kernel`
3️⃣ `Pycharm Pro`连接服务器运行程序
- 3️⃣.1️⃣ 建立新的`Python Interpreter`
- 3️⃣.2️⃣ 配置`Deployment`
- 3️⃣.3️⃣ 注意事项
- 3️⃣.4️⃣ 环境与包管理

0️⃣ `gcc`降级

因为Ubuntu20.04自带的gcc版本为9（或者不自带gcc），而CUDA10不支持gcc-9，因此要手动安装gcc-7，命令如下：.
```
sudo apt-get install gcc-7 g++-7
```

设置优先使用gcc7

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 9
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 9

查看当前优先使用的版本：
```
sudo update-alternatives --display g++
```
1️⃣ 配置Pytorch深度学习环境与Nvidia显卡

1️⃣.1️⃣ 配置`Anaconda`

1️⃣.1️⃣.1️⃣下载`Anaconda`

推荐在清华源进行下载，我选择的是最新的Anaconda3-2020.11-Linux-x86_64.sh，注意版本。

复制相应的链接，然后输入下面命令：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.11-Linux-x86_64.sh

下载完成后，输入：
```
sh Anaconda3-2020.11-Linux-x86_64.sh
```
一直按回车直到下方界面，提示安装路径，这里选择默认路径，直接回车即可，但是到是否将Anaconda3加入环境变量那里，一定要记得输入yes(我这里就是忘记输入，因为默认是No)，否则安装完后，还要重新配置：
（否则就就要编辑~/.bashrc文件：）
```
sudo vim ~/.bahsrc
```
在最后加入下面的一段：
```
export PATH=“/home/excalibur/anaconda3/bin:$PATH” 
```
其中excalibur根据自己的用户名修改。
接下来验证是否安装成功：
```
source ~/.bashrc
python
```

1️⃣.1️⃣.2️⃣ `conda`换源

vim ~/.condarc

在文件中加入

    channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/- defaultsshow_channel_urls: true

1️⃣.1️⃣.3️⃣ `conda`创建新环境

最好使用conda创建一个新环境，在新环境中安装各种依赖库和使用代码。因此使用如下命令新建一个名称为“torch”的环境：
```
conda create --name torch python=3.8
```
可以使用source activate torch来激活环境，可以使用source deactivate来退出环境，让我们source activate torch，此后安装pytorch均在此环境中。

1️⃣.2️⃣ `Ubuntu20.04`安装`Nvidia`显卡驱动

1️⃣.2️⃣.1️⃣ 禁用`nouveau`

为了避免sudo apt-get install nvidia-*安装方式造成登录界面循环，安装nvidia显卡驱动首先需要禁用nouveau，不然会碰到冲突的问题，导致无法安装nvidia显卡驱动。虽然说nouveau貌似默认被禁用了，但是实战表明，只有通过手动禁用才能解决后续的一系列的问题。

编辑文件blacklist.conf：

sudo gedit /etc/modprobe.d/blacklist.conf

在文件最后部分插入以下两行内容:
```
blacklist nouveau
options nouveau modeset=0
```
更新系统:
```
sudo update-initramfs -u
```
重启sudo reboot
可以运行下列命令：
```
lsmod | grep nouveau
```
应该是没有输出的，虽然在禁用之前也是没有输出的。

1️⃣.2️⃣.2️⃣ 控制面板中安装`Nvidia`驱动

在“设置”-“关于”中能够显示英伟达的显卡型号：
在“软件与更新”-“附加驱动”(Additional Drivers)中，也能获取显卡驱动：
选择合适的驱动，apply然后restart即可。
在终端中输入：
```
nvidia-smi
```
可以看出支持低于11.1的任意CUDA版本。

1️⃣.3️⃣ 配置`CUDA`

因为后期使用tensorflow-gpu 2.0.0，所以使用CUDA10.0版本。在英伟达官网中寻找10.0的包，选择18.04的即可（虽然我们的系统是20.04）。

在这里插入图片描述

最左侧的runfile格式最为方便，复制下载链接，在终端中输入：

wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda_10.0.130_410.48_linux

连续回车看完协议，然后输入accept，接下来会有一系列提示，提示是否安装显卡驱动那里选no。（Graphics Driver）其他的均为yes。默认的东西直接回车。
安装完毕后，配置环境变量：
```
vim ~/.bashrc	
```

加入以下内容：

# add cuda
export PATH=/usr/local/cuda-10.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64:$LD_LIBRARY_PATH

在终端输入：
```
source ~/.bashrc
```
刷新一下环境变量。然后检查CUDA是否安装成功：
```
nvcc -V
```
出现信息即安装成功；

然后再编译测试：

cd ~/NVIDIA_CUDA-10.0_Samples/0_Simple/vectorAdd
make
sudo ./vectorAdd

在这里插入图片描述

提示测试通过。

1️⃣.4️⃣ 配置`cuDNN`

进入cuDNN网址，这里选择了7.4.1版本，这里需要注册登陆。

在这里插入图片描述

下载对应linux版本的cuDNN Library for Linux (x86_64)

在下载目录运行：

tar -zxf cudnn-10.0-linux-x64-v7.4.1.5.tgz
cd cuda
sudo cp lib64/* /usr/local/cuda/lib64/
sudo cp include/* /usr/local/cuda/include/

1️⃣.5️⃣ 安装`Pytorch`

激活之前创建的torch环境：
```
source activate torch
```

安装：

conda install pytorch torchvision cudatoolkit=10.0

由于更换了conda源，因此下载会很快。正是因为换源了，所以命令末尾没有-c pytorch。
在终端：
```
python
```

>>> import torch
>>> 
>>> import torchvision
>>> 
>>> torch.cuda.is_available()
True

显示True，证明pytorch成功识别CUDA。

2️⃣ 配置远程`Jupyter Notebook`服务

介绍如何在自己本地浏览器使用jupyter notebook连接远程服务器。

2️⃣.1️⃣ `Ubuntu`服务器设置

首先要在Ubuntu服务器上的base环境下安装Jupyter Notebook：
```
pip install jupyter
```
生成Jupyter Notebook 配置文件：
```
jupyter notebook --generate-config
```
配置Jupyter Notebook密码：
```
jupyter notebook password
```

配置jupyter_notebook_config.py文件：

vim ~/.jupyter/jupyter_notebook_config.py

在最后一行后加入如下配置信息(vim编辑器按A键进行编辑)：

c.NotebookApp.allow_remote_access = True
c.NotebookApp.open_browser = False
c.NotebookApp.ip = '*'
c.NotebookApp.allow_root = True
c.NotebookApp.port = 8888 #端口可以更改

添加完成后按ESC，:wq退出并保存，Ubuntu服务器上的配置就完成了。

2️⃣.2️⃣ 本地连接远程服务器

首先在Ubuntu服务器上启动Jupyter Notebook，这会保证服务一直开着，即使SSH断开连接：
```
nohup jupyter notebook --no-browser --port=8889 --ip=127.0.0.1 &
```

然后在本地转发端口，用win+R 打开cmd，进入终端，输入：

ssh -N -f -L localhost:8888:localhost:8889 -p 22 remote_user@remote_host # 填写服务器用户名和IP

按照提示输入服务器密码即可，在本地浏览器网址栏输入http://127.0.0.1:8888，然后就可以看到jupyter-notebook登录界面了。输入设置好的密码即可。

2️⃣.3️⃣ `Jupyter Notebook`更换`kernel`

首先我们在anaconda3的base环境里，激活我们要用到的环境：
```
conda activate 环境名
```
然后安装ipykernel：
```
conda install nb_conda_kernels
```

最后将环境写入Jupyter notebook 中的kernel里：

python -m ipykernel install --user --name 环境名 --display-name "显示的名称"

完成。

3️⃣ `Pycharm Pro`连接服务器运行程序

只有Pycharm Pro版本才具有此功能。

首先打开项目文件如下：

在这里插入图片描述

3️⃣.1️⃣ 建立新的`Python Interpreter`

File—>Settings—>Python Interpreter，然后Add建立新的解释器：

在这里插入图片描述

点击SSH Interpreter，建立新服务器连接，填入服务器IP和用户名：
然后填入密码：111111，下一步：
这里Interpreter的默认路径：/usr/bin/python3，链接的是基础的Anaconda3自带的Python3环境，如果想使用建立的Pytorch1.4.0环境，则需要使用这个路径：/home/excalibur/anaconda3/envs/torch/bin/python，这个/torch/是我自己命名的，如果以后新建其他环境使用，整个路径只需要改变这个字段即可。然后勾上使用sudo命令，然后还要修改一下本地代码部署到服务器的文件地址，为了养成良好的使用习惯，建议使用类似这样的地址：/pycharm_project/xxx后面的xxx就是你想要放的文件夹，最后Finish，按照提示输入sudo密码：111111，然后Apply，接着OK。
此时可能会提示上传文件失败，permission denied，不用管。

3️⃣.2️⃣ 配置`Deployment`

Tools—>Deployment—>Configuration...
点一下AUTODETECT，这一步至关重要，然后再点Mappings，主要看一下刚刚配置的Deployment Path是否正确，然后OK即可。

将鼠标放置在整个文件夹目录上，然后Tools—>Deployment—>Upload to ...，就会把整个程序文件上传到你之前指定的目录那里。
等待上传完成。
然后Edit Configuration。
确保Python Interpreter是刚才设置的解释器。
直接点击绿色三角运行，或者右击文件run运行即可，结果为：

3️⃣.3️⃣ 注意事项

每次修改程序后，记得保存。然后像之前那样上传到服务器保持一致，否则运行的还是没有修改之前的存在服务器的版本。当程序运行会生成数据文件时，也要记得在Deployment里面Download到本地，Overwrite本地的文件。

3️⃣.4️⃣ 环境与包管理

当现有的环境中缺包时，先连接到服务器，工具有(Xshell，FinalShell，MobaXterm)等。然后切换到那个环境，如切换到torch环境：
```
conda activate torch
```
- 相应的，命令行前面的前缀会变成环境名称。
- 接着安装想要安装的包，如想要matplotlib，直接：
- ```
pip install matplotlib
```
- 退出环境使用：
- ```
conda deactivate torch
```
当需要新的环境时，如需要建立名为tensorflow2.0.0，Python版本为3.8的环境，直接：
- ```
conda create --name tensorflow2.0.0 python=3.8
```

至此，本文完结！✨✨✨

这篇关于Ubuntu20.04与Nvidia显卡：配置Pytorch深度学习环境(Pytorch1.4.0+CUDA10.0+cuDNN7.4) + 远程Jupyter服务 + 配置Pycharm远程连接的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

Ubuntu20.04与Nvidia显卡：配置Pytorch深度学习环境(Pytorch1.4.0+CUDA10.0+cuDNN7.4) + 远程Jupyter服务 + 配置Pycharm远程连接

文章目录

0️⃣ `gcc`降级

1️⃣ 配置`Pytorch`深度学习环境与`Nvidia`显卡

1️⃣.1️⃣ 配置`Anaconda`

1️⃣.1️⃣.1️⃣下载`Anaconda`

1️⃣.1️⃣.2️⃣ `conda`换源

1️⃣.1️⃣.3️⃣ `conda`创建新环境

1️⃣.2️⃣ `Ubuntu20.04`安装`Nvidia`显卡驱动

1️⃣.2️⃣.1️⃣ 禁用`nouveau`

1️⃣.2️⃣.2️⃣ 控制面板中安装`Nvidia`驱动

1️⃣.3️⃣ 配置`CUDA`

1️⃣.4️⃣ 配置`cuDNN`

1️⃣.5️⃣ 安装`Pytorch`

2️⃣ 配置远程`Jupyter Notebook`服务

2️⃣.1️⃣ `Ubuntu`服务器设置

2️⃣.2️⃣ 本地连接远程服务器

2️⃣.3️⃣ `Jupyter Notebook`更换`kernel`

3️⃣ `Pycharm Pro`连接服务器运行程序

3️⃣.1️⃣ 建立新的`Python Interpreter`

3️⃣.2️⃣ 配置`Deployment`

3️⃣.3️⃣ 注意事项

3️⃣.4️⃣ 环境与包管理

相关文章

SpringBoot中HTTP连接池的配置与优化

PyTorch高级特性与性能优化方式

Maven 插件配置分层架构深度解析

Spring Boot集成Logback终极指南之从基础到高级配置实战指南

重新对Java的类加载器的学习方式

如何在Ubuntu上安装NVIDIA显卡驱动? Ubuntu安装英伟达显卡驱动教程

VSCode中配置node.js的实现示例

Gradle在国内配置镜像加速的实现步骤

使用easy connect之后,maven无法使用,原来需要配置-Djava.net.preferIPv4Stack=true问题

史上最全nginx详细参数配置

Ubuntu20.04与Nvidia显卡：配置Pytorch深度学习环境(Pytorch1.4.0+CUDA10.0+cuDNN7.4) + 远程Jupyter服务 + 配置Pycharm远程连接

文章目录

0️⃣ gcc降级

1️⃣ 配置Pytorch深度学习环境与Nvidia显卡

1️⃣.1️⃣ 配置Anaconda

1️⃣.1️⃣.1️⃣下载Anaconda

1️⃣.1️⃣.2️⃣ conda换源

1️⃣.1️⃣.3️⃣ conda创建新环境

1️⃣.2️⃣ Ubuntu20.04安装Nvidia显卡驱动

1️⃣.2️⃣.1️⃣ 禁用nouveau

1️⃣.2️⃣.2️⃣ 控制面板中安装Nvidia驱动

1️⃣.3️⃣ 配置CUDA

1️⃣.4️⃣ 配置cuDNN

1️⃣.5️⃣ 安装Pytorch

2️⃣ 配置远程Jupyter Notebook服务

2️⃣.1️⃣ Ubuntu服务器设置

2️⃣.2️⃣ 本地连接远程服务器

2️⃣.3️⃣ Jupyter Notebook更换kernel

3️⃣ Pycharm Pro连接服务器运行程序

3️⃣.1️⃣ 建立新的Python Interpreter

3️⃣.2️⃣ 配置Deployment

3️⃣.3️⃣ 注意事项

3️⃣.4️⃣ 环境与包管理

相关文章

0️⃣ `gcc`降级

1️⃣ 配置`Pytorch`深度学习环境与`Nvidia`显卡

1️⃣.1️⃣ 配置`Anaconda`

1️⃣.1️⃣.1️⃣下载`Anaconda`

1️⃣.1️⃣.2️⃣ `conda`换源

1️⃣.1️⃣.3️⃣ `conda`创建新环境

1️⃣.2️⃣ `Ubuntu20.04`安装`Nvidia`显卡驱动

1️⃣.2️⃣.1️⃣ 禁用`nouveau`

1️⃣.2️⃣.2️⃣ 控制面板中安装`Nvidia`驱动

1️⃣.3️⃣ 配置`CUDA`

1️⃣.4️⃣ 配置`cuDNN`

1️⃣.5️⃣ 安装`Pytorch`

2️⃣ 配置远程`Jupyter Notebook`服务

2️⃣.1️⃣ `Ubuntu`服务器设置

2️⃣.3️⃣ `Jupyter Notebook`更换`kernel`

3️⃣ `Pycharm Pro`连接服务器运行程序

3️⃣.1️⃣ 建立新的`Python Interpreter`

3️⃣.2️⃣ 配置`Deployment`