基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调

本文主要是介绍基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调

1.推荐的模型组合

• 在默认的配置文件中，我们提供了以下模型组合

LLM: Chatglm2-6b
Embedding Models: m3e-base
TextSplitter: ChineseRecursiveTextSplitter
Kb_dataset: faiss

• 我们推荐开发者根据自己的业务需求进行模型微调，如果不需要微调且配置充足，可选择以下性能较好的配置

model_config.py
LLM: Qwen-14B-Chat 或 Baichuan2-13B-Chat
Embedding Models: piccolo-large-zh 或 bge-large-zh-v1.5 
HISTORY_LEN = 20
TEMPERATURE = 0.1

使用该模型将需要更高的硬件要求

1张 RTX A6000 或者 A40 等 48GB 显存以上的显卡。推荐 1 x A100 以上。
(使用多张显卡拼接也能运行，但是速度非常慢，2张4090拼接运行大概为一秒一个字的速度)64GB 内存用于加载模型而不被Kill服务器级的CPU，推荐 Xeon(R) Platinum 8358P 以上

• 如果开发者知识库较大，有大量文档，大文件，我们推荐开发者使用 pg

这篇关于基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---