基于ChatGLM3的本地问答机器人部署流程

2024-06-07 16:36
文章标签 部署 流程 问答 机器人 本地 chatglm3

本文主要是介绍基于ChatGLM3的本地问答机器人部署流程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

基于ChatGLM3的本地问答机器人部署流程

  • 前言
  • 一、确定文件结构
    • 1.新建文件夹储存本地模型
    • 2.下载源码和模型
  • 二、Anaconda环境搭建
    • 1.创建anaconda环境
    • 2.安装相关库
    • 3.设置本地模型路径
    • 4.启动
  • 三、构建本地知识库
    • 1.下载并安装postgresql
    • 2.安装c++库
    • 3.配置向量插件
  • 四、线上运行
  • 五、 全部命令

前言

部署完成后视频演示

https://www.bilibili.com/video/BV1fV3XePEi4/?spm_id_from=333.1007.top_right_bar_window_dynamic.content.click&vd_source=c5d972a40f6877b991f3c691467df568

参考链接：

https://github.com/THUDM/ChatGLM3
https://github.com/chatchat-space/Langchain-Chatchat
#微调
https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md
https://zhipu-ai.feishu.cn/wiki/QiLtwks1YioOSEkCxFIcAEWNnzb
https://github.com/chatchat-space/Langchain-Chatchat/wiki/

#基于ChatGLM3的本地测井问答机器人设计文档

https://download.csdn.net/download/qq_51985653/89406695

一、确定文件结构

1.新建文件夹储存本地模型

在这里插入图片描述

2.下载源码和模型

#若下载较慢也可复制链接手动下载到本地

git clone https://huggingface.co/THUDM/chatglm2-6b-32k
git clone https://huggingface.co/moka-ai/m3e-base
git clone https://github.com/chatchat-space/Langchain-Chatchat.git

下载完成后的文件结构
在这里插入图片描述

二、Anaconda环境搭建

1.创建anaconda环境

打开anaconda终端，创建并激活环境

conda create -n log-chat python=3.10
conda activate log-chat

在这里插入图片描述

2.安装相关库

conda install spacy
pip install cchardet 
pip install accelerate
pip install --upgrade pip
pip install -r requirements.txt

在这里插入图片描述

3.设置本地模型路径

来到llm-chat模型的configs文件夹下，修改model_config.py的内容
在这里插入图片描述

将LLM_MODELS设置为本地下载的模型文件

LLM_MODELS = ["chatglm2-6b-32k"]

在这里插入图片描述

在MODEL_PATH 中将m3e-base设置为本地路径

在这里插入图片描述

将llm_model中的chatglm2-6b-32k设置为本地模型路径，若本地有其他模型文件则同理

在这里插入图片描述

4.启动

在anaconda终端中进行启动

cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
python startup.py --all-webui

在这里插入图片描述

三、构建本地知识库

1.下载并安装postgresql

在这里插入图片描述

2.安装c++库

在这里插入图片描述

3.配置向量插件

在这里插入图片描述

在这里插入图片描述

在Developer Command Prompt for Vs 2022终端进入源码目录下并执行call命令

cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
call “E:\Softwares\Microsoft Visual tudio\2022\Community\VC\Auxiliary\Build\vcvars64.bat”

在这里插入图片描述

set "PGROOT=E:\Softwares\PostgreSQL\16"
git clone -branch v0.4.4 https://github.com/pgvector/pgvector.git
cd pgvector
nmake /F Makefile.win
nmake /F Makefile.win install

#打开pgAdmin4，创建数据库并安装向量插件

在这里插入图片描述

在这里插入图片描述

四、线上运行

服务器租赁：https://www.autodl.com/

#autodl部署启动命令
cd /root/Langchain-Chatchat/
conda activate /root/pyenv
python startup.py -a

#服务器连接本地参考命令
ssh -CNg -L  8501:127.0.0.1:8501 featurize@workspace.featurize.cn -p 56656ssh -CNg -L 6006:127.0.0.1:6006 root@123.125.240.150 -p 42151#其中root@123.125.240.150和42151分别是实例中SSH指令的访问地址与端口，
#请找到自己实例的ssh指令做相应替换。
#6006:127.0.0.1:6006是指代理实例内6006端口到本地的6006端口。

在这里插入图片描述

添加本地文件到知识库
在这里插入图片描述
在这里插入图片描述

五、 全部命令

#完成建立放置本地模型文件夹后在Anaconda终端执行下述命令
#其中相关路径要修改为自己对应的本地路径#下载模型
git clone https://huggingface.co/THUDM/chatglm2-6b-32k
git clone https://huggingface.co/moka-ai/m3e-base
git clone https://github.com/chatchat-space/Langchain-Chatchat.git#创建并激活conda环境
conda create -n log-chat python=3.10
conda activate log-chat#在模型对应路径下安装相关库
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
conda install spacy
pip install cchardet 
pip install accelerate
pip install --upgrade pip
pip install -r requirements.txtcd configs 
cp ./model_config.py.example  ./model_config.pycp ./server_config.py.example  ./server_config.pycp ./basic_config.py.example  ./basic_config.pycp ./kb_config.py.example  ./kb_config.py
cp ./prompt_config.py.example  ./prompt_config.py
#修改llm-chat配置文件使其使用本地模型
#修改model_config.py文件内容#anaconda中启动
conda activate log-chat
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
python startup.py --all-webui#下载postgresql
#https://www.enterprisedb.com/downloads/postgres-postgresql-downloads
#下载visualstudio 安装c++环境
#https://visualstudio.microsoft.com/zh-hans/downloads
#在Developer Command Prompt for Vs 2022终端进入源码目录下
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat#执行call命令
call “E:\Softwares\Microsoft Visual Studio\2022\Community\VC\Auxiliary\Build\vcvars64.bat”#执行下述命令
set "PGROOT=E:\Softwares\PostgreSQL\16"
git clone -branch v0.4.4 https://github.com/pgvector/pgvector.git
cd pgvector
nmake /F Makefile.win
nmake /F Makefile.win install#打开pgAdmin4，创建数据库并安装向量插件
CREATE DATABASE TEST;
CREATE EXTENSION IF NOT EXISTS vector;#打开anaconda终端
conda activate log-chat
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat\configs
python -m spacy download en_core_web_sm
python -m spacy download zh_core_web_sm
pip install psycopg2
pip install pgvetor
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat\
python init_database.py --recreate-vs#启动
python startup.py -a
#之后在网页端上传知识库文件即可

这篇关于基于ChatGLM3的本地问答机器人部署流程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1039707。

相关文章

Nginx分布式部署流程分析

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景
阅读更多...
Nginx搭建前端本地预览环境的完整步骤教学

Nginx搭建前端本地预览环境的完整步骤教学

《Nginx搭建前端本地预览环境的完整步骤教学》这篇文章主要为大家详细介绍了Nginx搭建前端本地预览环境的完整步骤教学,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录项目目录结构核心配置文件：nginx.conf脚本化操作：nginx.shnpm 脚本集成总结：对前端的意义很多
阅读更多...
Spring Boot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)

Spring Boot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)

《SpringBoot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)》本文将以一个实际案例（用户管理系统）为例,详细解析SpringBoot中Co... 目录引言：为什么学习Spring Boot分层架构？第一部分：Spring Boot的整体架构1.1
阅读更多...
nodejs打包作为公共包使用的完整流程

nodejs打包作为公共包使用的完整流程

《nodejs打包作为公共包使用的完整流程》在Node.js项目中,打包和部署是发布应用的关键步骤,：本文主要介绍nodejs打包作为公共包使用的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言一、前置准备二、创建与编码三、一键构建四、本地“白嫖”测试（可选）五、发布公共包六、常见踩坑提醒
阅读更多...
Ubuntu向多台主机批量传输文件的流程步骤

Ubuntu向多台主机批量传输文件的流程步骤

《Ubuntu向多台主机批量传输文件的流程步骤》：本文主要介绍在Ubuntu中批量传输文件到多台主机的方法,需确保主机互通、用户名密码统一及端口开放,通过安装sshpass工具,准备包含目标主机信... 目录Ubuntu 向多台主机批量传输文件1.安装 sshpass2.准备主机列表文件3.创建一个批处理脚
阅读更多...
一个Java的main方法在JVM中的执行流程示例详解

一个Java的main方法在JVM中的执行流程示例详解

《一个Java的main方法在JVM中的执行流程示例详解》main方法是Java程序的入口点,程序从这里开始执行,：本文主要介绍一个Java的main方法在JVM中执行流程的相关资料,文中通过代码... 目录第一阶段：加载 (Loading)第二阶段：链接 (Linking)第三阶段：初始化 (Initia
阅读更多...
linux部署NFS和autofs自动挂载实现过程

linux部署NFS和autofs自动挂载实现过程

《linux部署NFS和autofs自动挂载实现过程》文章介绍了NFS（网络文件系统）和Autofs的原理与配置,NFS通过RPC实现跨系统文件共享,需配置/etc/exports和nfs.conf,... 目录（一）NFS1. 什么是NFS2.NFS守护进程3.RPC服务4. 原理5. 部署5.1安装NF
阅读更多...
Git打标签从本地创建到远端推送的详细流程

Git打标签从本地创建到远端推送的详细流程

《Git打标签从本地创建到远端推送的详细流程》在软件开发中,Git标签（Tag）是为发布版本、标记里程碑量身定制的“快照锚点”,它能永久记录项目历史中的关键节点,然而,仅创建本地标签往往不够,如何将其... 目录一、标签的两种“形态”二、本地创建与查看1. 打附注标http://www.chinasem.cn
阅读更多...
通过Docker容器部署Python环境的全流程

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践
阅读更多...
MyBatis分页查询实战案例完整流程

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2