在使用nohup命令后台训练pytorch模型时，关闭ssh窗口导致的训练任务失败解决方法

本文主要是介绍在使用nohup命令后台训练pytorch模型时，关闭ssh窗口导致的训练任务失败解决方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

下班前使用终端通过SSH登陆服务器，用nohup命令后台训练了一个pytorch模型。第二天来公司上班发现模型训练终止，报如下问题。

WARNING:torch.distributed.elastic.agent.server.api:Received 1 death signal, shutting down workers
WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 2478002 closing signal SIGHUP
WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 2478003 closing signal SIGHUP

一查原来是因为SSH终端与服务器之间建立的是临时的交互会话，如果一段时间没有交互，或者关闭窗口，会话就结束，那么会话内部的进程也终止，所以训练任务就结束了。

知识点补充：

1、会话与进程

命令行的典型使用方式是，打开一个终端窗口（terminal window，以下简称"窗口"），在里面输入命令。用户与计算机的这种临时的交互，称为一次"会话"（session） 。

会话的一个重要特点是，窗口与其中启动的进程是连在一起的。打开窗口，会话开始；关闭窗口，会话结束，会话内部的进程也会随之终止，不管有没有运行完。

一个典型的例子就是，SSH 登录远程计算机，打开一个远程窗口执行命令。这时，网络突然断线，再次登录的时候，是找不回上一次执行的命令的。因为上一次 SSH 会话已经终止了，里面的进程也随之消失了。

为了解决这个问题，会话与窗口可以"解绑"：窗口关闭时，会话并不终止，而是继续运行，等到以后需要的时候，再让会话"绑定"其他窗口。

2、如何保持SSH会话不结束

How to Keep SSH Session Alive

如何保持 SSH 会话不中断？ - 知乎

我们使用Linux终端的方法来让SSH会话保持足够长的时间，足够保证我们的训练任务进程完成。

2.1 Linux client 配置

对于 Linux client ，我们在home目录下修改 ~/.ssh/config 文件（如果没有就创建）

vim  ~/.ssh/config

下面是配置

Host *
ServerAliveInterval 120
ServerAliveCountMax 720

Host：配置仅对 “Host” 关键字后面列出的主机生效。由于使用了通配符（*），因此它们适用于所有主机
ServerAliveInterval：设置超时间隔(以秒为单位)，如果没有从 server 接收到数据，SSH 将通过加密通道发送消息，请求 server 响应。默认值为 0，表示不会将这些消息发送到 server
ServerAliveCountMax：设置在 SSH 没有收到任何消息的情况下向 server 发送keepalive 消息的数量。如果达到了该阈值，SSH 将断开与 server 的连接，终止会话（默认值为 3）

表示 client 每 120s 向 server 发送 keepalive 消息，一共发送 720 次，也就是 120 * 720 = 86400 s（24小时），在这24小时内 SSH 会话会一直保持。

2.2 Linux server 配置

上面介绍的是 client 端的配置，我们接下来介绍 server 端的配置

修改 /etc/ssh/sshd_config 文件

sudo vi /etc/ssh/sshd_config

TCPKeepAlive yes
ClientAliveInterval 120 
ClientAliveCountMax 720

TCPKeepAlive：是否应该向 client 发送 TCP keepalive 信息
ClientAliveInterval：设置超时间隔(以秒为单位)，如果没有从 client 接收到数据，SSH 将通过加密通道发送消息，请求 client 响应。默认值为 0，表示不会将这些消息发送到 client
ClientAliveCountMax：设置在 SSH 没有收到任何消息的情况下向 client 发送keepalive 消息的数量。如果达到了该阈值，SSH 将断开与 client 的连接，终止会话（默认值为 3）

与前面讲到的 Linux client 配置一样，server 将保持 SSH 会话24小时（120 * 720 = 86400s）

配置之后重启 SSH 服务