LLM大模型教程:langchain 教程

2024-09-07 15:44
文章标签 教程 模型 langchain llm

本文主要是介绍LLM大模型教程:langchain 教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

软件安装

pip install pymupdf
pip install langchain
pip install langchain-cli
conda install -c pytorch -c nvidia faiss-gpu=1.7.4 mkl=2021 blas=1.0=mkl

由于langchain不支持qwen模型,我们需要自定义模型

from typing import Anyfrom langchain_core.language_models import LLM
from transformers import AutoTokenizer, AutoModelForCausalLMclass QwenLLM(LLM):model: Any = Nonetokenizer: Any = Nonedevice: str = None@classmethoddef from_model_id(cls,model_id: str):model = AutoModelForCausalLM.from_pretrained(model_id,torch_dtype="auto",trust_remote_code=True,device_map="auto")device = "cuda"tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)return cls(model=model,device=device,tokenizer=tokenizer)@propertydef _llm_type(self) -> str:return "qwen"def _call(self, prompt: str, **kwargs: Any) -> str:messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}]text = self.tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = self.tokenizer([text], return_tensors="pt").to(self.device)generated_ids = self.model.generate(model_inputs.input_ids,max_new_tokens=512)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]return self.tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

langchain 查询代码

from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import PyMuPDFLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.prompts import MessagesPlaceholder
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain.chains import create_retrieval_chain
from langchain_core.messages import HumanMessage, AIMessage
from qwen_llm import QwenLLMdef main():llm = QwenLLM.from_model_id(model_id="/home/chuan/models/qwen/Qwen1___5-7B-Chat-GPTQ-Int4")loader = PyMuPDFLoader("./汽车知识.pdf")docs = loader.load()embeddings = HuggingFaceEmbeddings(model_name="/home/chuan/models/BAAI/bge-m3")text_splitter = RecursiveCharacterTextSplitter(chunk_size=256)documents = text_splitter.split_documents(docs)vector = FAISS.from_documents(documents, embeddings)prompt = ChatPromptTemplate.from_template("""请根据提供的知识回答问题:<知识>{context}</知识>问题: {input}""")document_chain = create_stuff_documents_chain(llm=llm, prompt=prompt)retriever = vector.as_retriever()retrieval_chain = create_retrieval_chain(retriever, document_chain)response1 = retrieval_chain.invoke({"input": "什么是自动驾驶?"})print(response1["answer"])prompt = ChatPromptTemplate.from_messages([("system", "请根据提供的知识回答问题:\n\n{context}"),MessagesPlaceholder(variable_name="chat_history"),("user", "{input}"),])document_chain = create_stuff_documents_chain(llm=llm, prompt=prompt)retrieval_chain = create_retrieval_chain(retriever, document_chain)chat_history = [HumanMessage(content="什么是自动驾驶?"), AIMessage(content=response1["answer"])]response2 = retrieval_chain.invoke({"chat_history": chat_history,"input": "怎么进行自动驾驶呢?"})print(response2["answer"])if __name__ == '__main__':main()

整体流程:

  1. 初始化langchain 模型
  2. 加载知识库文档
  3. 分割文档
  4. 加载向量数据库
  5. 存储向量数据库
  6. 准备prompt
  7. 创建 chain
  8. 调用chain的invoke 方法

langchain+chatglm.png

整个流程如图所示,图片来源于:github.com/chatchat-sp…

LCEL(Lang Chain Expression Language)的原理

在上面的例子中,我们最后生成的retrieval_chain。

document_chain的初始化

RunnablePassthrough.assign(**{DOCUMENTS_KEY: format_docs}).with_config(run_name="format_inputs")
| prompt
| llm
| _output_parser

在上面的代码中,我们总共组合了几种链的结构,即LCEL,为什么langchain可以用链式结构,是因为

在python中,运算符 | 实际上调用的是__or__方法

先看一下我们自定的QwenLLM的类关系图

2024-02-20_17-05.png

在父类方法中,可以看到 __or__方法的源码

class Runnable(Generic[Input, Output], ABC):def __or__(self,other: Union[Runnable[Any, Other],Callable[[Any], Other],Callable[[Iterator[Any]], Iterator[Other]],Mapping[str, Union[Runnable[Any, Other], Callable[[Any], Other], Any]],],) -> RunnableSerializable[Input, Other]:"""Compose this runnable with another object to create a RunnableSequence."""return RunnableSequence(self, coerce_to_runnable(other))
class RunnableSequence(RunnableSerializable[Input, Output]):  def __or__(self,other: Union[Runnable[Any, Other],Callable[[Any], Other],Callable[[Iterator[Any]], Iterator[Other]],Mapping[str, Union[Runnable[Any, Other], Callable[[Any], Other], Any]],],) -> RunnableSerializable[Input, Other]:if isinstance(other, RunnableSequence):return RunnableSequence(self.first,*self.middle,self.last,other.first,*other.middle,other.last,name=self.name or other.name,)else:return RunnableSequence(self.first,*self.middle,self.last,coerce_to_runnable(other),name=self.name,)@propertydef steps(self) -> List[Runnable[Any, Any]]:"""All the runnables that make up the sequence in order."""return [self.first] + self.middle + [self.last]

实际上整个链会被添加到steps方法中

实际上我们调用 invoke方法会直接调用所有的steps

def invoke(self, input: Input, config: Optional[RunnableConfig] = None) -> Output:try:for i, step in enumerate(self.steps):input = step.invoke(input,# mark each step as a child runpatch_config(config, callbacks=run_manager.get_child(f"seq:step:{i+1}")),)

在这里插入图片描述

大模型&AI产品经理如何学习

求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

这篇关于LLM大模型教程:langchain 教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1145477

相关文章

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务,修改密码一、下载安装包安装地

电脑提示d3dx11_43.dll缺失怎么办? DLL文件丢失的多种修复教程

《电脑提示d3dx11_43.dll缺失怎么办?DLL文件丢失的多种修复教程》在使用电脑玩游戏或运行某些图形处理软件时,有时会遇到系统提示“d3dx11_43.dll缺失”的错误,下面我们就来分享超... 在计算机使用过程中,我们可能会遇到一些错误提示,其中之一就是缺失某个dll文件。其中,d3dx11_4

Linux下在线安装启动VNC教程

《Linux下在线安装启动VNC教程》本文指导在CentOS7上在线安装VNC,包含安装、配置密码、启动/停止、清理重启步骤及注意事项,强调需安装VNC桌面以避免黑屏,并解决端口冲突和目录权限问题... 目录描述安装VNC安装 VNC 桌面可能遇到的问题总结描js述linux中的VNC就类似于Window

Go语言编译环境设置教程

《Go语言编译环境设置教程》Go语言支持高并发(goroutine)、自动垃圾回收,编译为跨平台二进制文件,云原生兼容且社区活跃,开发便捷,内置测试与vet工具辅助检测错误,依赖模块化管理,提升开发效... 目录Go语言优势下载 Go  配置编译环境配置 GOPROXYIDE 设置(VS Code)一些基本

从入门到精通详解LangChain加载HTML内容的全攻略

《从入门到精通详解LangChain加载HTML内容的全攻略》这篇文章主要为大家详细介绍了如何用LangChain优雅地处理HTML内容,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录引言:当大语言模型遇见html一、HTML加载器为什么需要专门的HTML加载器核心加载器对比表二

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实