dell r720部署chatglm3,使用nvidia tesla P40+M40

2023-11-07 02:20

本文主要是介绍dell r720部署chatglm3,使用nvidia tesla P40+M40,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

dell r720的idrac的地址默认是192.168.1.110,root 默认密码calvin

fatal Error! All channnels have been disabled due to all DIMMs failed the Memoey 是什么意思

Dell PowerEdge T320服务器 开机显示

Fatal Errort!all channells have been disabled due to DIMMS falled the memory

原因:内存自检失败,可能是太久未使用,有静电等原因。
解决:取出内存条洗手擦拭,后内存条逐条插入实验开机。
ubuntu 18.04 两张GPU显卡,nvidia-smi只显示一张

the memory configuration is not optimal for opration memory must be installed without gaps. The DIMM has been disabled DIMM A5

 Dell R720内存安装,

安装规则:https://baijiahao.baidu.com/s?id=1689576546006436379&wfr=spider&for=pc

一、当使用1个cpu,也就是单cpu时,32G内存的内存槽插法:

2条16G内存的话,分别插在A1,A3内存槽。

4条8G内存的话,分别插在A1,A2,A3,A4内存槽。

8条4G内存的话,分别插在A1,A2,A3,A4,A5,A6,A7,A8内存槽。

二、当使用2个cpu,也就是双cpu时,64G内存的内存槽插法:

4条16G内存的话,分别插在A1,A3和B1,B3内存槽。

8条8G内存的话,分别插在A1,A2,A3,A4和B1,B2,B3,B4内存槽。

16条4G内存的话,分别插在A1,A2,A3,A4,A5,A6,A7,A8和B1,B2,B3,B4,B5,B6,B7,B8内存槽。

参考我的另一篇文章部署chatglm,ubuntu18.4(后改为20.4)部署chatglm2并进行基于 P-Tuning v2 的微调-CSDN博客

 根据chatglm3官方文档

https://github.com/THUDM/ChatGLM3

还是很容易部署的,注意一些依赖库的版本问题。

 这边使用的是双GPU,结果中也是很容易看到,P40占用显存6.236GB/24.576GB,

M40占用显存5.954G/24.576GB,共计12.190GB。这是chatglm-6B无量化所需要的最低显存,低于12G的不要尝试或者需要进行量化之后才能跑!!!

最后放结果图:

如果没办法share link,需要下载个文件放到指定位置

这篇关于dell r720部署chatglm3,使用nvidia tesla P40+M40的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/360604

相关文章

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步:安装必要的依赖库第二步:获取并构建 BoringSSL第三步:获取 Nginx

springboot中使用okhttp3的小结

《springboot中使用okhttp3的小结》OkHttp3是一个JavaHTTP客户端,可以处理各种请求类型,比如GET、POST、PUT等,并且支持高效的HTTP连接池、请求和响应缓存、以及异... 在 Spring Boot 项目中使用 OkHttp3 进行 HTTP 请求是一个高效且流行的方式。

Java使用Javassist动态生成HelloWorld类

《Java使用Javassist动态生成HelloWorld类》Javassist是一个非常强大的字节码操作和定义库,它允许开发者在运行时创建新的类或者修改现有的类,本文将简单介绍如何使用Javass... 目录1. Javassist简介2. 环境准备3. 动态生成HelloWorld类3.1 创建CtC

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

C#使用Spire.Doc for .NET实现HTML转Word的高效方案

《C#使用Spire.Docfor.NET实现HTML转Word的高效方案》在Web开发中,HTML内容的生成与处理是高频需求,然而,当用户需要将HTML页面或动态生成的HTML字符串转换为Wor... 目录引言一、html转Word的典型场景与挑战二、用 Spire.Doc 实现 HTML 转 Word1

Java中的抽象类与abstract 关键字使用详解

《Java中的抽象类与abstract关键字使用详解》:本文主要介绍Java中的抽象类与abstract关键字使用详解,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、抽象类的概念二、使用 abstract2.1 修饰类 => 抽象类2.2 修饰方法 => 抽象方法,没有