FastGPT + Xinference + OneAPI：一站式本地 LLM 私有化部署和应用开发

本文主要是介绍FastGPT + Xinference + OneAPI：一站式本地 LLM 私有化部署和应用开发，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Excerpt

随着 GPTs 的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs 在中国的使用依然存在诸多困扰和障碍。因此，在当…

随着 GPTs 的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs 在中国的使用依然存在诸多困扰和障碍。因此，在当下企业最稳妥的知识库应用方式仍是基于开源 LLM 进行私有化部署，结合向量数据库和提示词规则设计。

Xinference[1] 是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。FastGPT[2] 是一个知识库问答系统。与其他知识库产品相比，FastGPT 能够通过 Flow 进行可视化的工作流编排，实现复杂的问答场景，这对于处理企业级别的复杂场景非常重要。

本文将手把手地教学，用 Xinference 部署一个开源 LLM——Qwen-14B，并借助 FastGPT 的可视化工作流编排，轻松地创建一个能查询天气 API 的聊天应用。