本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码）

本文主要是介绍本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文介绍如何使用langchain中的ollama库实现低参数Llama 3，Phi-3模型实现本地函数调用及结构化文本输出。

函数调用介绍

函数调用的一个很好的参考是名为 “Gorilla” 的论文，该论文探讨了函数调用的概念，并提供了一个函数调用排行榜。通过这个排行榜，我们可以了解哪些模型擅长函数调用。

例如，我们可以看到 Llama 3 70 亿参数模型在排行榜中位列第七，而 8 亿参数的 Llama 3 模型也在榜单中，尽管性能不及前者，但仍然表现不错。

使用 Ollama 设置 Llama 3 模型

首先，我们来看一个简单的示例，设置 Llama 3 模型并使用 Ollama 进行函数调用。以下是相关代码：

from langchain import Ollama, ChatPromptTemplate, StringOutputParser# 设置 Ollama 模型
llm = Ollama(model_name='llama3')# 设置提示模板
prompt_template = ChatPromptTemplate.from_template("Write me a 500-word article on {topic} from the perspective of {profession}")# 创建字符串输出解析器
output_parser = StringOutputParser()# 调用模型生成文章
response = llm(prompt=prompt_template.format(topic="AI", profession="engineer"), output_parser=output_parser)print(response)

在上述代码中，我们定义了一个简单的提示模板，并使用 Ollama 生成一个 500 字的文章。我们还可以通过设置 keep_alive 属性来保持模型在内存中的活跃状态，避免每次运行时重新加载模型。

生成 JSON 输出

接下来，我们来看如何让 Llama 3 模型生成结构化的 JSON 输出。以下是相关代码：

from langchain import JSONOutputParser# 定义 JSON 模式
json_schema = {"type": "object","properties": {"name": {"type": "string"},"age": {"type": "integer"},"hobbies": {"type": "string"}},"required": ["name", "age"]
}# 设置提示模板
prompt_template = ChatPromptTemplate.from_template("Extract the following information in JSON format: {schema}")# 创建 JSON 输出解析器
output_parser = JSONOutputParser()# 调用模型生成 JSON
response = llm(prompt=prompt_template.format(schema=json_schema), output_parser=output_parser)print(response)

在上述代码中，我们定义了一个 JSON 模式，并使用 Ollama 生成符合该模式的 JSON 输出。通过设置模型的输出格式为 JSON，可以提高生成结构化输出的概率。

使用 Pydantic 定义结构化输出

我们还可以使用 Pydantic 定义一个类，用于提取结构化输出。以下是相关代码：

from pydantic import BaseModel
from langchain import StructuredOutputLLM# 定义 Pydantic 类
class Person(BaseModel):name: strheight: floathair_color: str# 设置提示模板
prompt_template = ChatPromptTemplate.from_template("Extract the following information in JSON format: {context}")# 创建结构化输出 LLM
structured_llm = StructuredOutputLLM(llm, output_class=Person)# 调用模型生成结构化输出
context = "Alex is 5 feet tall, Claudia is 6 feet tall, Claudia has brown hair."
response = structured_llm(prompt=prompt_template.format(context=context))print(response)

在上述代码中，我们使用 Pydantic 定义了一个 Person 类，并使用 Ollama 生成符合该类的结构化输出。

使用工具和函数调用

最后，我们来看如何使用 Ollama 的新功能进行工具和函数调用。以下是相关代码：

from langchain import OllamaFunctions# 定义工具函数
def get_current_weather(location: str, unit: str = "Celsius"):# 这里是获取当前天气的实现pass# 设置工具和函数调用
tools = {"get_current_weather": get_current_weather}
ollama_functions = OllamaFunctions(llm, tools=tools)# 调用模型进行函数调用
question = "What is the weather in Singapore?"
response = ollama_functions(prompt=question)print(response)