本文主要是介绍【langchain】langchain调用huggingface本地模型基础demo，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
目前网上的langchain教程大多数都是关于如何调用OpenAI等远程模型，对于本地模型的调用示例写法比较少。而且langchain也在不停迭代，文档也比较杂。我个人用Hugging Face的开源模型比较多。因此，本文将向大家介绍如何使用Langchain调用Hugging Face本地模型的基础demo，帮助大家快速开始langchain的“Hello World”。
相关写法参考的是langchain官方文档https://python.langchain.com/v0.2/docs/integrations/llms/huggingface_pipelines/#model-loading。
【注意】事先安装langchain_huggingface、langchain，并下载好模型权重。
写法如下：
from langchain_huggingface.llms import HuggingFacePipeline
from langchain_core.prompts import PromptTemplatehf = HuggingFacePipeline.from_model_id(model_id=r"D:\PLMs\qwen\qwen1.5-1.8B-Chat",task="text-generation",device=0,pipeline_kwargs={"max_new_tokens": 1000},
)template = """Question: {question}Answer: 让我们一步步思考。"""
prompt = PromptTemplate.from_template(template)chain = prompt | hfquestion = "C罗是谁？"print(chain.invoke({"question": question}))
这篇关于【langchain】langchain调用huggingface本地模型基础demo的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
