dell r720部署chatglm3,使用nvidia tesla P40+M40

2023-11-07 02:20

本文主要是介绍dell r720部署chatglm3,使用nvidia tesla P40+M40,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

dell r720的idrac的地址默认是192.168.1.110,root 默认密码calvin

fatal Error! All channnels have been disabled due to all DIMMs failed the Memoey 是什么意思

Dell PowerEdge T320服务器 开机显示

Fatal Errort!all channells have been disabled due to DIMMS falled the memory

原因:内存自检失败,可能是太久未使用,有静电等原因。
解决:取出内存条洗手擦拭,后内存条逐条插入实验开机。
ubuntu 18.04 两张GPU显卡,nvidia-smi只显示一张

the memory configuration is not optimal for opration memory must be installed without gaps. The DIMM has been disabled DIMM A5

 Dell R720内存安装,

安装规则:https://baijiahao.baidu.com/s?id=1689576546006436379&wfr=spider&for=pc

一、当使用1个cpu,也就是单cpu时,32G内存的内存槽插法:

2条16G内存的话,分别插在A1,A3内存槽。

4条8G内存的话,分别插在A1,A2,A3,A4内存槽。

8条4G内存的话,分别插在A1,A2,A3,A4,A5,A6,A7,A8内存槽。

二、当使用2个cpu,也就是双cpu时,64G内存的内存槽插法:

4条16G内存的话,分别插在A1,A3和B1,B3内存槽。

8条8G内存的话,分别插在A1,A2,A3,A4和B1,B2,B3,B4内存槽。

16条4G内存的话,分别插在A1,A2,A3,A4,A5,A6,A7,A8和B1,B2,B3,B4,B5,B6,B7,B8内存槽。

参考我的另一篇文章部署chatglm,ubuntu18.4(后改为20.4)部署chatglm2并进行基于 P-Tuning v2 的微调-CSDN博客

 根据chatglm3官方文档

https://github.com/THUDM/ChatGLM3

还是很容易部署的,注意一些依赖库的版本问题。

 这边使用的是双GPU,结果中也是很容易看到,P40占用显存6.236GB/24.576GB,

M40占用显存5.954G/24.576GB,共计12.190GB。这是chatglm-6B无量化所需要的最低显存,低于12G的不要尝试或者需要进行量化之后才能跑!!!

最后放结果图:

如果没办法share link,需要下载个文件放到指定位置

这篇关于dell r720部署chatglm3,使用nvidia tesla P40+M40的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/360604

相关文章

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流(parallelStream)的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS

Linux join命令的使用及说明

《Linuxjoin命令的使用及说明》`join`命令用于在Linux中按字段将两个文件进行连接,类似于SQL的JOIN,它需要两个文件按用于匹配的字段排序,并且第一个文件的换行符必须是LF,`jo... 目录一. 基本语法二. 数据准备三. 指定文件的连接key四.-a输出指定文件的所有行五.-o指定输出

Linux jq命令的使用解读

《Linuxjq命令的使用解读》jq是一个强大的命令行工具,用于处理JSON数据,它可以用来查看、过滤、修改、格式化JSON数据,通过使用各种选项和过滤器,可以实现复杂的JSON处理任务... 目录一. 简介二. 选项2.1.2.2-c2.3-r2.4-R三. 字段提取3.1 普通字段3.2 数组字段四.

Linux kill正在执行的后台任务 kill进程组使用详解

《Linuxkill正在执行的后台任务kill进程组使用详解》文章介绍了两个脚本的功能和区别,以及执行这些脚本时遇到的进程管理问题,通过查看进程树、使用`kill`命令和`lsof`命令,分析了子... 目录零. 用到的命令一. 待执行的脚本二. 执行含子进程的脚本,并kill2.1 进程查看2.2 遇到的

详解SpringBoot+Ehcache使用示例

《详解SpringBoot+Ehcache使用示例》本文介绍了SpringBoot中配置Ehcache、自定义get/set方式,并实际使用缓存的过程,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录摘要概念内存与磁盘持久化存储:配置灵活性:编码示例引入依赖:配置ehcache.XML文件:配置

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程?1.2 为什么需要虚拟线程?二、虚拟线程与平台线程对比代码对比示例:三

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景

k8s按需创建PV和使用PVC详解

《k8s按需创建PV和使用PVC详解》Kubernetes中,PV和PVC用于管理持久存储,StorageClass实现动态PV分配,PVC声明存储需求并绑定PV,通过kubectl验证状态,注意回收... 目录1.按需创建 PV(使用 StorageClass)创建 StorageClass2.创建 PV

Redis 基本数据类型和使用详解

《Redis基本数据类型和使用详解》String是Redis最基本的数据类型,一个键对应一个值,它的功能十分强大,可以存储字符串、整数、浮点数等多种数据格式,本文给大家介绍Redis基本数据类型和... 目录一、Redis 入门介绍二、Redis 的五大基本数据类型2.1 String 类型2.2 Hash

Redis中Hash从使用过程到原理说明

《Redis中Hash从使用过程到原理说明》RedisHash结构用于存储字段-值对,适合对象数据,支持HSET、HGET等命令,采用ziplist或hashtable编码,通过渐进式rehash优化... 目录一、开篇:Hash就像超市的货架二、Hash的基本使用1. 常用命令示例2. Java操作示例三