AutoGen完整教程和加载本地LLM示例

本文主要是介绍AutoGen完整教程和加载本地LLM示例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Autogen是一个卓越的人工智能系统，它可以创建多个人工智能代理，这些代理能够协作完成任务，包括自动生成代码，并有效地执行任务。

在本文中，我们将深入探讨Autogen，并介绍如何让AutoGen使用本地的LLM

AutoGen

Autogen能够设置多个人工智能代理，它们协同工作以实现特定目标。以下截图来自微软官方博客

使用conda创建环境：

 conda create -n pyautogen python=3.10  conda activate pyautogen

AutoGen需要Python版本>= 3.8。它可以从pip安装:

 pip install pyautogen

编辑Python脚本(app.py)，导入Autogen并设置配置。此配置包括定义想要使用的模型(例如，GPT 3.5 turbo)并提供API密钥。

目前AutoGen只能使用OpenAI的API，所以我们在后面介绍如何使用本地的LLM。

可以定义多个代理来处理不同的角色或任务,比如下面就创建了2个角色

 autogen.AssistantAgent(assistantname="CTO",Illm_config=llm_config)autogen.AssistantAgent(assistantname="CEO", Illm_config=llm_config)

定义任务和说明:希望代理执行的特定任务。这可以是任何指令，从编码到数据分析。

这样代理将根据指示开始执行任务。Assistant代理使用结果或代码片段进行响应。

使用本地的LLM

下面我们将演示如何让autogen使用本地的LLM。这里将使用FastChat作为LLM的本地媒介。

FastChat为其支持的模型提供了与OpenAI兼容的api，所以可以使用FastChat作为OpenAI api的本地替代。但是它的代码需要稍加修改才能正常工作。

 git clone https://github.com/lm-sys/FastChat.gitcd FastChat

ChatGLM-6B是基于通用语言模型(General language model, GLM)框架的开放式双语语言模型，具有62亿个参数。ChatGLM2-6B是其第二代产品。

 git clone https://huggingface.co/THUDM/chatglm2-6b

都下载完成后就可以使用了,先启动控制器：

 python -m fastchat.serve.controller

然后就是启动模型工作线程。

 python -m fastchat.serve.model_worker --model-path chatglm2-6b

最后是API:

 python -m fastchat.serve.openai_api_server --host localhost --port8000

注意：如果遇到这样的错误

 /root/anaconda3/envs/fastchat/lib/python3.9/runpy.py:197in_run_module_as_main││││194│main_globals=sys.modules["main"].dict││195│ifalter_argv: ││196││sys.argv[0] =mod_spec.origin││❱197│return_run_code(code, main_globals, None, ││198│││││"main", mod_spec) ││199││200defrun_module(mod_name, init_globals=None, │

注释掉fastchat/protocol/ api_protocol.py和fastchat/protocol/openai_api_protocol.py中包含finish_reason的所有行将解决问题。修改后的代码如下:

 classCompletionResponseChoice(BaseModel):index: inttext: strlogprobs: Optional[int] =None# finish_reason: Optional[Literal["stop", "length"]]classCompletionResponseStreamChoice(BaseModel):index: inttext: strlogprobs: Optional[float] =None# finish_reason: Optional[Literal["stop", "length"]] = None

使用下面的配置，autogen.oai.Completion和autogen.oai.ChatCompletion可以直接访问模型。

 fromautogenimportoai# create a text completion requestresponse=oai.Completion.create(config_list=[{"model": "chatglm2-6b","api_base": "http://localhost:8000/v1","api_type": "open_ai","api_key": "NULL", # just a placeholder}],prompt="Hi",)print(response)# create a chat completion requestresponse=oai.ChatCompletion.create(config_list=[{"model": "chatglm2-6b","api_base": "http://localhost:8000/v1","api_type": "open_ai","api_key": "NULL",}],messages=[{"role": "user", "content": "Hi"}])print(response)

在本地也可以使用多个模型：

 python -m fastchat.serve.multi_model_worker \--model-path lmsys/vicuna-7b-v1.3 \--model-names vicuna-7b-v1.3 \--model-path chatglm2-6b \--model-names chatglm2-6b

那么推理的代码如下（注意，你要有多卡或者显存足够）：

 fromautogenimportoai# create a chat completion requestresponse=oai.ChatCompletion.create(config_list=[{"model": "chatglm2-6b","api_base": "http://localhost:8000/v1","api_type": "open_ai","api_key": "NULL",},{"model": "vicuna-7b-v1.3","api_base": "http://localhost:8000/v1","api_type": "open_ai","api_key": "NULL",}],messages=[{"role": "user", "content": "Hi"}])print(response)