GPT4ALL【部署 01】GPT4ALL模型调用测试(Linux环境+Python代码)

2024-03-11 20:28

本文主要是介绍GPT4ALL【部署 01】GPT4ALL模型调用测试(Linux环境+Python代码),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GPT4ALL本地部署测试

  • 1.初识
  • 2.环境
    • 2.1 服务器
    • 2.2 运行环境
  • 3.调用
    • 3.1 代码
    • 3.2 测试
  • 4.总结

GPT4ALL可以在 Windows、Mac、Ubuntu上直接安装使用,安装步骤简单,这里不再赘述,本文介绍一下在无可视化界面的Linux环境部署调用的流程。

1.初识

【官网】有更多的信息可以查看,简介:A free-to-use, locally running, privacy-aware chatbot. No GPU or internet required.

  • 免费使用(成本低);
  • 本地运行(成本及安全);
  • 具有隐私意识的聊天机器人(安全);
  • 无需 GPU 或互联网(硬件成本低、内网可用)。

特点:

  • 是一个生态系统,用于训练和部署在消费级CPU上本地运行的强大和定制的大型语言模型;
  • 成为任何人或企业都可以自由使用、分发和构建的最佳指令调谐助手式语言模型;
  • GPT4All 模型是一个 3GB - 8GB 的文件,可以下载并插入 GPT4All 开源生态系统软件。Nomic AI 支持和维护这个软件生态系统,以加强质量和安全性,同时带头让任何人或企业轻松训练和部署自己的边缘大型语言模型。

2.环境

2.1 服务器

# 1.查询操作系统版本
cat /etc/os-release
# 查询结果
NAME="openEuler"
VERSION="22.03 (LTS-SP1)"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 (LTS-SP1)"
ANSI_COLOR="0;31"

2.2 运行环境

也可以使用AnacondaDocker构建运行环境:

# 2.查询python版本
python -V
# 查询结果
Python 3.9.18# 3.组件版本
torch==2.1.2
gpt4all==2.2.1.post1
transformers==4.32.1

3.调用

3.1 代码

官方文档:https://docs.gpt4all.io/

from gpt4all import GPT4All
model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
output = model.generate("The capital of France is ", max_tokens=3)
print(output)

实际使用代码:

from gpt4all import GPT4All
def get_answer_form_model(request):# 参数req = json.loads(request.body.decode())model_name = req['model']max_tokens = req['max_tokens']question_text = req['question']# 调用model = GPT4All(model_name=model_name, model_path="/a_model", allow_download=False)output = model.generate(question_text, max_tokens=max_tokens)print(output)return HttpResponse(output)

3.2 测试

{"model": "orca-mini-3b-gguf2-q4_0.gguf","max_tokens": 30,"question": "The capital of France is "
}
100% Paris.
I hope that helps!

一些离谱的回答:

{"model": "baichuan2-7b-chat.Q3_K_L.gguf","max_tokens": 1200,"question": "我有6个鸡蛋,碎了2个,煎了2个,吃了2个,还剩下几个?请告诉我为什么?"
}
首先我们要知道这个问题的描述有些矛盾。
根据问题中的表述:“我有 6 个鸡蛋”、“碎了 2 个" 和 "煎了 2 个", 这意味着你已经使用了4个(碎的+煎的)蛋, 所以剩下的应该是1-3. 
但是接着又说 “吃了 2 个”,这个信息并没有在问题中给出为什么,所以我们需要重新理解问题的描述。
如果“吃”是指把鸡蛋放在其他食物里的话(比如炒饭、煎饼等) ,那么实际上你仍然使用了4颗蛋黄(煎的)和1颗蛋白 (碎的), 所以剩下的应该是5-6. 
因此, 根据不同的解释方式可能剩下几个蛋会有两种情况: 0个或7个。

4.总结

  • 并非参数量越大越好
  • 答案具有随机性,可能较好也可能较差

这篇关于GPT4ALL【部署 01】GPT4ALL模型调用测试(Linux环境+Python代码)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/798969

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

linux解压缩 xxx.jar文件进行内部操作过程

《linux解压缩xxx.jar文件进行内部操作过程》:本文主要介绍linux解压缩xxx.jar文件进行内部操作,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、解压文件二、压缩文件总结一、解压文件1、把 xxx.jar 文件放在服务器上,并进入当前目录#

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1:安装并配置mariadb步骤 2:安装Zabbix 7.0 Server

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert