Pycharm连接云算力远程服务器(AutoDL)训练深度学习模型全过程

本文主要是介绍Pycharm连接云算力远程服务器(AutoDL)训练深度学习模型全过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言:在上一篇windows搭建深度学习环境中,我试图使用笔记本联想小新air14的mx350显卡训练一个图像检测的深度学习模型,但是训练时长大概需要几天时间远超我的预期,所以我便选择租用GPU进行训练,在对多家平台对比后找到了经济实惠的AutoDL,接下来是我租用GPU–配置环境–连接Pycharm–训练模型的全过程,基于本人也是刚入门的新手,如果有不恰当的地方还请大家指教。

一、租用GPU

  • 首先进入官网AutoDL:https://www.autodl.com/home,注册登录(如果是学生还有优惠)
  • 点击算力市场
    在这里插入图片描述
  • 选择合适的计量方式,地区和GPU型号,
    (1)在选择地区时,一般选择距离自己最近的区,这样可以减少延迟,提高计算效率123。
    选择GPU
    (2)在选择GPU时,需要考虑GPU对应的地区,一般选择距离自己最近的区,整体区别不大。另外,GPU型号的选择也很重要,对应不同的显卡核心,不同的GPU型号的收费价格不同,越好的GPU收费越贵,看个人经济实力选择。
  • 选择镜像
    在本文中选择的是基础镜像,大家根据自己的项目要求选择合适的框架即可,
    在这里插入图片描述
  • 租用成功后界面
    在这里插入图片描述

二、配置环境

在这里我们首先选择无卡模式开机,顾名思义无卡模式开机即没有GPU有CPU开机(一般GPU被别人占满的时候,无卡模式还是依然能开机的),同时无卡模式只有0.1元/时,我们可以用它进行数据的传输和环境的配置,有卡模式就需要根据你所选择的配置进行收费,如选择的3090需要1.58元/时。
在这里插入图片描述

1、配置环境

(1)点击JupyterLab
在这里插入图片描述
(2)点击终端
在这里插入图片描述

  • 输入:vim ~/.bashrc

  • 点击i进入编辑模式

  • 开始进行编辑:输入i

  • 移动到文件的最后一行,加上source /root/miniconda3/etc/profile.d/conda.sh

  • 按Esc键,输入:wq,再回车(:q是推出不保存:q!是强制退出)
    输入bash后回车,即刷新一下
    在这里插入图片描述(3)进入环境:conda activate base
    创建新环境:conda create -n py37 python=3.7
    进入新环境,输入:conda activate py37
    (推出py37的代码示例:conda deactivate)
    在这里就可以根据项目需要配置相应的深度学习框架,我认为有三种方案,
    一是可以在conda环境下使用官网命令直接安装对应的包,如我的项目需要torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0就可以到Pytorch官网使用对应命令安装,但是我在安装过程中到最后总是被杀掉进程,所以在这里我使用的是第二种方法。
    二是可以使用远程连接工具xftp传输文件到云主机上进行离线安装,xftp下载链接
    三是可以直接将需要安装的包下载的本地电脑,再上传到租用主机的网盘上
    本文使用的是第二种方法,所以以下为第二种方法的具体步骤
    1、点击更多,点击无卡模式开机或有卡模式开机后会在ssh登录出现ssh登录指令和密码
    ssh登录指令格式如下
    ssh -p 123456 root@xxxxxx.xxxx.com

  • 用户名:root

  • 主机HOST:xxxxxx.xxxx.com(即@后的所有内容)

  • 端口号:123456
    在这里插入图片描述2、连接xftp

  • 首先新建文件

  • 名称可以随便起

  • 主机为xxxxxx.xxxx.com(即@后的所有内容)

  • 端口号为ssh -p 123456 root@xxxxxx.xxxx.com格式中的123456

  • 密码
    在这里插入图片描述连接后左侧为你电脑本机,右侧是云主机,在右侧打开你想要存放文件的文件夹,双击左侧本机文件即可将文件上传到云主机的对应文件夹。

在这里插入图片描述
3、离线安装
pytorch安装包路径
进入上传到的文件目录,使用pip命令安装
如我存放在了/root/autodl-fs文件夹下,首先在终端使用cd autodl-fs,使用ll可查看文件列表。
再使用pip 包的名称即可安装,包的名称可以使用tab自动补齐。
在这里插入图片描述4、jupyter页面更新(即在jupyter页面里增加一个基础环境:py38)

进入刚刚创建的虚拟环境,输入conda install ipykernel
再输入:ipython kernel install --user --name=py37
出现
在这里插入图片描述5、验证cuda是否可用 ***(到这里之前为了省钱都是无卡模式开机,为了验证环境是否配置成功需要先关机再开机,这次开机不要选择无卡模式了,需要根据你选择的配置进行按小时计费)***
进入notebook下的py37

import torchvision
import torch
print('你对应的torch的版本信息',torch.__version__)
print('返回true即为可用',torch.cuda.is_available())
# 1.12.0+cu113
# True

在这里插入图片描述

三、连接Pycharm

点击File,点击Settings,点击Python interpreter,点击小齿轮的Add
在这里插入图片描述
点击SSH interpreter,填写对应的Host和Username(即上文连接xftp的主机,用户名和端口号)
在这里插入图片描述
输入密码
在这里插入图片描述选择python和项目路径(一会会上传),如果你和我上文一样,新建了一个python3.7.1的conda环境则需要到/root/miniconda3/envs/py37寻找python
在这里插入图片描述

上传你的项目文件
在这里插入图片描述
开始连接,在下面会出现对应终端
在这里插入图片描述

在这里插入图片描述

四、训练模型

切换到项目存放的文件夹,执行python train.py && shutdown 我的训练模型代码放在train.py文件下,如果你的训练代码不在这里请自行修改。shutdown的作用是在代码运行结束后,云主机会自动关机,以防止再产生不必要消费。

这篇关于Pycharm连接云算力远程服务器(AutoDL)训练深度学习模型全过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/656822

相关文章

Java中Redisson 的原理深度解析

《Java中Redisson的原理深度解析》Redisson是一个高性能的Redis客户端,它通过将Redis数据结构映射为Java对象和分布式对象,实现了在Java应用中方便地使用Redis,本文... 目录前言一、核心设计理念二、核心架构与通信层1. 基于 Netty 的异步非阻塞通信2. 编解码器三、

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述:HashMap的宏观结构二、核心数据结构解析1. 数组(桶数组)2. 链表节点(Node

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程?1.2 为什么需要虚拟线程?二、虚拟线程与平台线程对比代码对比示例:三

Python函数作用域与闭包举例深度解析

《Python函数作用域与闭包举例深度解析》Python函数的作用域规则和闭包是编程中的关键概念,它们决定了变量的访问和生命周期,:本文主要介绍Python函数作用域与闭包的相关资料,文中通过代码... 目录1. 基础作用域访问示例1:访问全局变量示例2:访问外层函数变量2. 闭包基础示例3:简单闭包示例4

Linux云服务器手动配置DNS的方法步骤

《Linux云服务器手动配置DNS的方法步骤》在Linux云服务器上手动配置DNS(域名系统)是确保服务器能够正常解析域名的重要步骤,以下是详细的配置方法,包括系统文件的修改和常见问题的解决方案,需要... 目录1. 为什么需要手动配置 DNS?2. 手动配置 DNS 的方法方法 1:修改 /etc/res

idea+spring boot创建项目的搭建全过程

《idea+springboot创建项目的搭建全过程》SpringBoot是Spring社区发布的一个开源项目,旨在帮助开发者快速并且更简单的构建项目,:本文主要介绍idea+springb... 目录一.idea四种搭建方式1.Javaidea命名规范2JavaWebTomcat的安装一.明确tomcat

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装

java程序远程debug原理与配置全过程

《java程序远程debug原理与配置全过程》文章介绍了Java远程调试的JPDA体系,包含JVMTI监控JVM、JDWP传输调试命令、JDI提供调试接口,通过-Xdebug、-Xrunjdwp参数配... 目录背景组成模块间联系IBM对三个模块的详细介绍编程使用总结背景日常工作中,每个程序员都会遇到bu

Java服务实现开启Debug远程调试

《Java服务实现开启Debug远程调试》文章介绍如何通过JVM参数开启Java服务远程调试,便于在线上排查问题,在IDEA中配置客户端连接,实现无需频繁部署的调试,提升效率... 目录一、背景二、相关图示说明三、具体操作步骤1、服务端配置2、客户端配置总结一、背景日常项目中,通常我们的代码都是部署到远程

Python内存管理机制之垃圾回收与引用计数操作全过程

《Python内存管理机制之垃圾回收与引用计数操作全过程》SQLAlchemy是Python中最流行的ORM(对象关系映射)框架之一,它提供了高效且灵活的数据库操作方式,本文将介绍如何使用SQLAlc... 目录安装核心概念连接数据库定义数据模型创建数据库表基本CRUD操作创建数据读取数据更新数据删除数据查