chatglm4本地部署详解

2024-06-16 20:52
文章标签 部署 详解 本地 chatglm4

本文主要是介绍chatglm4本地部署详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

下载地址

模型下载地址:GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

已经训练好的数据下载地址:

https://huggingface.co/THUDM/glm-4-9b-chat-1m/tree/main

测试主机配置

cpu:E5-2680v4

内存:32G

显卡:Tesla M4 24G

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要:

  • Python >= 3.10
  • 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码,您还需要:

  • Linux 操作系统 (Debian 系列最佳)
  • 大于 8GB 显存的,支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练,推理有小概率出现问题)

一、下载

(一)打开模型安装地址,点击下载

(二)打开已经训练好的数据下载地址,依次点击下载。超过1G的,建议使用迅雷云盘。

二、安装依赖

(一)安装步骤

        从官网了解可知composite_demo文件夹是存放更新说明的地方

        composite_demo文件夹中的requirements.txt文件夹,是此版本需要安装的依赖

使用命令:(反复执行,直到安装成功)

为保证减少连接失败造成的安装失败,建议尝试使用科学方法,你懂的

pip install -r requirements.txt

安装完毕的样子:

(二)安装失败的解决方案

安装失败,基本都是因为下载时连接失败或者连接断开造成,解决方案主要是两种:

        一种是,指定源地址下载

        另一种是,手动从web下载安装文件后安装

1. transformers==4.40.0载失败

        解决办法:指定清华源下载

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

 2. accelerate>=0.30.1下载失败

        accelerate>=0.30.1,也是类似情况,但指定源下载依然不奏效。

        解决方法:可以在该版本下载页面下载安装文件accelerate · PyPI(浏览器下载也失败了2次,反正都是断点续传,继续重复执行下载即可。)

        使用下面命令进行安装

pip install accelerate-0.31.0-py3-none-any.whl 

 

        安装成功显示如下:

3. matplotlib下载失败

        解决方法:直接在requirements.txt文件中,将>=3.9.0删除。即不约束版本号

4. PyMuPDF下载失败

        解决方法:

(1)先安装PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

        PyMuPDF手动安装:下载地址PyMuPDFb · PyPI

        安装命令:

pip install PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

(2)再安装PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl

        下载地址:PyMuPDF · PyPI

        安装命令:

pip install PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl 

5. python_docx-1.1.2下载失败

        下载地址:python-docx · PyPI

        安装命令: 

pip install python_docx-1.1.2-py3-none-any.whl

 6. python-pptx 0.6.23 下载失败

下载地址:python-pptx · PyPI

安装命令:

pip install python_pptx-0.6.23-py3-none-any.whl 
(1)执行安装时,过程中下载XlsxWriter-3.2.0-py3-none-any.whl又失败!

        下载地址:XlsxWriter · PyPI

安装命令:

pip install XlsxWriter-3.2.0-py3-none-any.whl 

最后,重新安装

pip install python_pptx-0.6.23-py3-none-any.whl 

7.streamlit-1.35.0下载失败

        下载地址:streamlit · PyPI

        安装命令

pip install streamlit-1.35.0-py2.py3-none-any.whl

8. tiktoken 0.7.0 下载失败

        下载地址:tiktoken · PyPI

        安装命令

pip install tiktoken-0.7.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 

三、测试模型

        已经下载好的模型及训练数据。

        glm-4-9b-chjat为已经训练的参数

        GLM-4-main为模型文件

(一)修改trans_cli_demo.py文件中,第18行,训练参数的位置

        把它修改成glm-4-9b-chat的路径:/home/ls/文档/GLM4/glm-4-9b-chat

 (二)执行trans_cli_demo.py

        执行命令:

python trans_cli_demo.py 

       可以执行,但是太慢了

        chatglm4 在当前配置可以运行。但是只是能运行而已。跟chatglm3回复速度相比,简直是慢动作中的慢动作。要想丝滑运行,升级硬件吧。

这篇关于chatglm4本地部署详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1067521

相关文章

Java Lambda表达式的使用详解

《JavaLambda表达式的使用详解》:本文主要介绍JavaLambda表达式的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言二、Lambda表达式概述1. 什么是Lambda表达式?三、Lambda表达式的语法规则1. 无参数的Lambda表

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Spring @RequestMapping 注解及使用技巧详解

《Spring@RequestMapping注解及使用技巧详解》@RequestMapping是SpringMVC中定义请求映射规则的核心注解,用于将HTTP请求映射到Controller处理方法... 目录一、核心作用二、关键参数说明三、快捷组合注解四、动态路径参数(@PathVariable)五、匹配请

git stash命令基本用法详解

《gitstash命令基本用法详解》gitstash是Git中一个非常有用的命令,它可以临时保存当前工作区的修改,让你可以切换到其他分支或者处理其他任务,而不需要提交这些还未完成的修改,这篇文章主要... 目录一、基本用法1. 保存当前修改(包括暂存区和工作区的内容)2. 查看保存了哪些 stash3. 恢

java String.join()方法实例详解

《javaString.join()方法实例详解》String.join()是Java提供的一个实用方法,用于将多个字符串按照指定的分隔符连接成一个字符串,这一方法是Java8中引入的,极大地简化了... 目录bVARxMJava String.join() 方法详解1. 方法定义2. 基本用法2.1 拼接

Java中的record使用详解

《Java中的record使用详解》record是Java14引入的一种新语法(在Java16中成为正式功能),用于定义不可变的数据类,这篇文章给大家介绍Java中的record相关知识,感兴趣的朋友... 目录1. 什么是 record?2. 基本语法3. record 的核心特性4. 使用场景5. 自定

MyBatis编写嵌套子查询的动态SQL实践详解

《MyBatis编写嵌套子查询的动态SQL实践详解》在Java生态中,MyBatis作为一款优秀的ORM框架,广泛应用于数据库操作,本文将深入探讨如何在MyBatis中编写嵌套子查询的动态SQL,并结... 目录一、Myhttp://www.chinasem.cnBATis动态SQL的核心优势1. 灵活性与可

Python struct.unpack() 用法及常见错误详解

《Pythonstruct.unpack()用法及常见错误详解》struct.unpack()是Python中用于将二进制数据(字节序列)解析为Python数据类型的函数,通常与struct.pa... 目录一、函数语法二、格式字符串详解三、使用示例示例 1:解析整数和浮点数示例 2:解析字符串示例 3:解

C/C++ chrono简单使用场景示例详解

《C/C++chrono简单使用场景示例详解》:本文主要介绍C/C++chrono简单使用场景示例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录chrono使用场景举例1 输出格式化字符串chrono使用场景China编程举例1 输出格式化字符串示

MySQL 表的内外连接案例详解

《MySQL表的内外连接案例详解》本文给大家介绍MySQL表的内外连接,结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录表的内外连接(重点)内连接外连接表的内外连接(重点)内连接内连接实际上就是利用where子句对两种表形成的笛卡儿积进行筛选,我