GPT4ALL【部署 01】GPT4ALL模型调用测试（Linux环境+Python代码）

本文主要是介绍GPT4ALL【部署 01】GPT4ALL模型调用测试（Linux环境+Python代码），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

GPT4ALL本地部署测试

1.初识
2.环境
- 2.1 服务器
- 2.2 运行环境
3.调用
- 3.1 代码
- 3.2 测试
4.总结

GPT4ALL可以在 Windows、Mac、Ubuntu上直接安装使用，安装步骤简单，这里不再赘述，本文介绍一下在无可视化界面的Linux环境部署调用的流程。

1.初识

【官网】有更多的信息可以查看，简介：A free-to-use, locally running, privacy-aware chatbot. No GPU or internet required.

免费使用（成本低）；
本地运行（成本及安全）；
具有隐私意识的聊天机器人（安全）；
无需 GPU 或互联网（硬件成本低、内网可用）。

特点：

是一个生态系统，用于训练和部署在消费级CPU上本地运行的强大和定制的大型语言模型；
成为任何人或企业都可以自由使用、分发和构建的最佳指令调谐助手式语言模型；
GPT4All 模型是一个 3GB - 8GB 的文件，可以下载并插入 GPT4All 开源生态系统软件。Nomic AI 支持和维护这个软件生态系统，以加强质量和安全性，同时带头让任何人或企业轻松训练和部署自己的边缘大型语言模型。

2.环境

2.1 服务器

# 1.查询操作系统版本
cat /etc/os-release
# 查询结果
NAME="openEuler"
VERSION="22.03 (LTS-SP1)"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 (LTS-SP1)"
ANSI_COLOR="0;31"

2.2 运行环境

也可以使用Anaconda或Docker构建运行环境：

# 2.查询python版本
python -V
# 查询结果
Python 3.9.18# 3.组件版本
torch==2.1.2
gpt4all==2.2.1.post1
transformers==4.32.1

3.调用

3.1 代码

官方文档：https://docs.gpt4all.io/

from gpt4all import GPT4All
model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
output = model.generate("The capital of France is ", max_tokens=3)
print(output)

实际使用代码：

from gpt4all import GPT4All
def get_answer_form_model(request):# 参数req = json.loads(request.body.decode())model_name = req['model']max_tokens = req['max_tokens']question_text = req['question']# 调用model = GPT4All(model_name=model_name, model_path="/a_model", allow_download=False)output = model.generate(question_text, max_tokens=max_tokens)print(output)return HttpResponse(output)

3.2 测试

{"model": "orca-mini-3b-gguf2-q4_0.gguf","max_tokens": 30,"question": "The capital of France is "
}

100% Paris.
I hope that helps!

一些离谱的回答：

{"model": "baichuan2-7b-chat.Q3_K_L.gguf","max_tokens": 1200,"question": "我有6个鸡蛋，碎了2个，煎了2个，吃了2个，还剩下几个？请告诉我为什么？"
}

首先我们要知道这个问题的描述有些矛盾。
根据问题中的表述：“我有 6 个鸡蛋”、“碎了 2 个" 和 "煎了 2 个", 这意味着你已经使用了4个（碎的+煎的）蛋, 所以剩下的应该是1-3. 
但是接着又说 “吃了 2 个”,这个信息并没有在问题中给出为什么，所以我们需要重新理解问题的描述。
如果“吃”是指把鸡蛋放在其他食物里的话(比如炒饭、煎饼等) ,那么实际上你仍然使用了4颗蛋黄（煎的）和1颗蛋白 (碎的), 所以剩下的应该是5-6. 
因此, 根据不同的解释方式可能剩下几个蛋会有两种情况: 0个或7个。