dell r720部署chatglm3,使用nvidia tesla P40+M40

2023-11-07 02:20

本文主要是介绍dell r720部署chatglm3,使用nvidia tesla P40+M40,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

dell r720的idrac的地址默认是192.168.1.110,root 默认密码calvin

fatal Error! All channnels have been disabled due to all DIMMs failed the Memoey 是什么意思

Dell PowerEdge T320服务器 开机显示

Fatal Errort!all channells have been disabled due to DIMMS falled the memory

原因:内存自检失败,可能是太久未使用,有静电等原因。
解决:取出内存条洗手擦拭,后内存条逐条插入实验开机。
ubuntu 18.04 两张GPU显卡,nvidia-smi只显示一张

the memory configuration is not optimal for opration memory must be installed without gaps. The DIMM has been disabled DIMM A5

 Dell R720内存安装,

安装规则:https://baijiahao.baidu.com/s?id=1689576546006436379&wfr=spider&for=pc

一、当使用1个cpu,也就是单cpu时,32G内存的内存槽插法:

2条16G内存的话,分别插在A1,A3内存槽。

4条8G内存的话,分别插在A1,A2,A3,A4内存槽。

8条4G内存的话,分别插在A1,A2,A3,A4,A5,A6,A7,A8内存槽。

二、当使用2个cpu,也就是双cpu时,64G内存的内存槽插法:

4条16G内存的话,分别插在A1,A3和B1,B3内存槽。

8条8G内存的话,分别插在A1,A2,A3,A4和B1,B2,B3,B4内存槽。

16条4G内存的话,分别插在A1,A2,A3,A4,A5,A6,A7,A8和B1,B2,B3,B4,B5,B6,B7,B8内存槽。

参考我的另一篇文章部署chatglm,ubuntu18.4(后改为20.4)部署chatglm2并进行基于 P-Tuning v2 的微调-CSDN博客

 根据chatglm3官方文档

https://github.com/THUDM/ChatGLM3

还是很容易部署的,注意一些依赖库的版本问题。

 这边使用的是双GPU,结果中也是很容易看到,P40占用显存6.236GB/24.576GB,

M40占用显存5.954G/24.576GB,共计12.190GB。这是chatglm-6B无量化所需要的最低显存,低于12G的不要尝试或者需要进行量化之后才能跑!!!

最后放结果图:

如果没办法share link,需要下载个文件放到指定位置

这篇关于dell r720部署chatglm3,使用nvidia tesla P40+M40的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/360604

相关文章

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

python使用try函数详解

《python使用try函数详解》Pythontry语句用于异常处理,支持捕获特定/多种异常、else/final子句确保资源释放,结合with语句自动清理,可自定义异常及嵌套结构,灵活应对错误场景... 目录try 函数的基本语法捕获特定异常捕获多个异常使用 else 子句使用 finally 子句捕获所

C++11右值引用与Lambda表达式的使用

《C++11右值引用与Lambda表达式的使用》C++11引入右值引用,实现移动语义提升性能,支持资源转移与完美转发;同时引入Lambda表达式,简化匿名函数定义,通过捕获列表和参数列表灵活处理变量... 目录C++11新特性右值引用和移动语义左值 / 右值常见的左值和右值移动语义移动构造函数移动复制运算符

Python对接支付宝支付之使用AliPay实现的详细操作指南

《Python对接支付宝支付之使用AliPay实现的详细操作指南》支付宝没有提供PythonSDK,但是强大的github就有提供python-alipay-sdk,封装里很多复杂操作,使用这个我们就... 目录一、引言二、准备工作2.1 支付宝开放平台入驻与应用创建2.2 密钥生成与配置2.3 安装ali

C#中lock关键字的使用小结

《C#中lock关键字的使用小结》在C#中,lock关键字用于确保当一个线程位于给定实例的代码块中时,其他线程无法访问同一实例的该代码块,下面就来介绍一下lock关键字的使用... 目录使用方式工作原理注意事项示例代码为什么不能lock值类型在C#中,lock关键字用于确保当一个线程位于给定实例的代码块中时

MySQL 强制使用特定索引的操作

《MySQL强制使用特定索引的操作》MySQL可通过FORCEINDEX、USEINDEX等语法强制查询使用特定索引,但优化器可能不采纳,需结合EXPLAIN分析执行计划,避免性能下降,注意版本差异... 目录1. 使用FORCE INDEX语法2. 使用USE INDEX语法3. 使用IGNORE IND

C# $字符串插值的使用

《C#$字符串插值的使用》本文介绍了C#中的字符串插值功能,详细介绍了使用$符号的实现方式,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录$ 字符使用方式创建内插字符串包含不同的数据类型控制内插表达式的格式控制内插表达式的对齐方式内插表达式中使用转义序列内插表达式中使用

flask库中sessions.py的使用小结

《flask库中sessions.py的使用小结》在Flask中Session是一种用于在不同请求之间存储用户数据的机制,Session默认是基于客户端Cookie的,但数据会经过加密签名,防止篡改,... 目录1. Flask Session 的基本使用(1) 启用 Session(2) 存储和读取 Se

Java Thread中join方法使用举例详解

《JavaThread中join方法使用举例详解》JavaThread中join()方法主要是让调用改方法的thread完成run方法里面的东西后,在执行join()方法后面的代码,这篇文章主要介绍... 目录前言1.join()方法的定义和作用2.join()方法的三个重载版本3.join()方法的工作原

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语