【解决复杂链式任务,打造全能助手】LangChain 大模型 打造 钢铁侠的全能助理 Jarvis

本文主要是介绍【解决复杂链式任务,打造全能助手】LangChain 大模型 打造 钢铁侠的全能助理 Jarvis,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

LangChain 大模型 结合 做 AutoGPT、ChatPDF

    • 思维链 CoT
    • LangChain
      • 模型IO:和大模型交互、提示词模版
      • 数据连接:从数据的接入、分割,到向量的构建、存储、搜索
      • 链:串联和组织,多个语言模型、组件
      • 记忆:灵魂伴侣,最熟悉你的机器
      • 代理:软件不会用怎么办?退下,我来!!
      • 回调:语义表达清,调试更精准
    • LangChain 大模型结合 打造 钢铁侠的全能助理 Jarvis
      • 打造AutoGPT:突破文本限制,从语言理解到任务执行,AI分析、AI执行、AI调整、AI验证,去招聘网站招揽、,照顾饮食起居订餐订飞机票、寻找新的挣钱机会,以六千万分之一秒的速度分析信息
      • 打造ChatPDF:回归学习本质,跳过所有的繁文缛节、场面话,根据你的理解提问,给你提供最直接的反馈,你听不懂还可以要求举例子、可视化、按流程顺序拆解

 


思维链 CoT

最初的语言模型都是基于经验的,只能根据词汇之间的相关性输出答案,根本没有思考能力……

但是从使用思维链后,大模型已经是有思考能力的。能进行一定的推理。

2021年,OpenAI在训练神经网络过程中有一个意外发现。

神经网络他可以很好地模仿现有的数据,很少犯错误。

可是如果你给他出个没练过的题目,他还是说不好。于是你就让他继续练。

继续训练好像没什么意义,因为现在只要是模仿他就都能说得很好,只要是真的即兴发挥他就不会。

但你不为所动,还是让他练。


1 0 2 10^2 102 1 0 5 10^5 105 训练完全没有成果。

就这样练啊练,惊奇地发现,他会即兴演讲了!给他一个什么题目,他都能现编现讲,发挥得很好!

  • 一千步乃至一万步,模型对训练题的表现已经非常好了,但是对生成性题目几乎没有能力
  • 练到10万步,模型做训练题的成绩已经很完美,对生成性题也开始有表现了
  • 练到100万步,模型对生成性题目居然达到了接近100%的精确度

这就是量变产生质变。研究者把这个现象称为「开悟(Grokking)」。

2022年8月,谷歌大脑研究者发布一篇论文,专门讲了大型语言模型的一些涌现能力,包括少样本学习、突然学会做加减法、突然之间能做大规模、多任务的语言理解、学会分类等等……

而这些能力只有当模型参数超过1000亿才会出现 —— 涌现新能力的关键机制,叫 思维链

思维链就是当模型听到一个东西之后,它会嘟嘟囔囔自说自话地,把它知道的有关这个东西的各种事情一个个说出来。

思维链是如何让语言模型有了思考能力的呢?

比如你让模型描写一下“夏天”,它会说:“夏天是个阳光明媚的季节,人们可以去海滩游泳,可以在户外野餐……”等等。

只要思考过程可以用语言描写,语言模型就有这个思考能力。

怎么用思维链呢?

思维链的主要思想是通过向大语言模型展示一些少量的样例,在样例中解释推理过程。

那大语言模型在回答提示时也会显示推理过程,这种推理的解释往往会引导出更准确的结果。

既然如此,只要我们设置好让模型每次都先思考一番再回答问题,ta就能自动使用思维链,ta就有了思考能力。

CoT(链式思考)已被证实能够改善大型AI模型在算术、常识和符号推理等任务上的表现。

用户发现,当他们在问题中添加“让我们一步步来思考”时,模型仿佛被施了魔法,之前答错的数学题突然能够正确解答,原本无理的论述变得有条有理。

不过,CoT对模型性能的提升与模型的大小成正比关系,模型参数至少达到100亿才有效果,达到1000亿效果才明显。

 


LangChain

如果直接用大模型的API去做产品,会遇到很多限制:

  • 输入限制 — 最大token 可能只能输入 3000 字
  • 私有化 — 数据是公司机密,必须私有化
  • 大模型只有微调的知识 — 不能联网获取最新知识,专业领域就不准确
  • 没办法查询数据库 — 只能手工
  • 输出结果不稳定 — 一会说可以,一会说不可以,你到底想说什么
  • 无法操作外部工具 — 复杂的任务不只是文本,要突破文本的限制

LangChain 就是让大模型突破这些限制:

  • 无输入限制,能批量读取所有pdf
  • 查询数据库
  • 实现联网功能
  • 能调用所有开源大模型,不用自己一个一个方法去学习
  • 能把各种工具 和 大模型 串起来,突破文本限制

 
LangChain 编程是一种新的编程方式,改变了传统的编程思维。

在这种方式中,你不是直接编写代码来解决问题,而是定义一系列的工具和流程,然后让大型人工智能模型(比如ChatGPT)去执行这些流程,提供逻辑判断和流程组合。

这种编程方式的挑战在于它需要一种不同的思维方式:你需要更多地考虑如何设计流程和使用工具,而不是直接编写代码。调试也更加复杂,因为你需要以一种更加语义化的方式来编程,这意味着要非常清楚地表达你的意图,才能得到确切的答案或预期的结果。

LangChain 编程是一种利用人工智能来辅助编程的方法,它要求编程者以一种新的方式思考问题和解决问题。

更多的思考聚焦于是如何确保模型的稳定性,而不是传统意义上的业务逻辑编程。

LangChain API 文档:https://python.langchain.com.cn/docs/get_started/introduction

  • LangChain 更新很快,前段时间写的代码,现在就不能用了
  • 有时候更新太快,API文档也是错的
  • 那可去 LangChain 的 GitHub 开一个 Issue,很快就可以得到解答

一时间我也不知道该怎么写,昨日编程行万里,今朝更新又重启。

这里会把重点放在框架上,心中有框架可以快速适应新变化:

LangChain 六大组件:

  • 模型IO:选择某个大模型、输入提示词、输出解析器
  • 数据连接:文档加载器(能从不同来源加载文档)、文档转换器(把文档转问答对)、文本嵌入模型(文本转小数)、向量存储(存储嵌入数据)、检索器(查询数据)
  • Chains链:把每个组件串起来
  • Memory:记忆上下文
  • Agents代理:能使用多种工具(数学题调计算器、上网调谷歌搜索)
  • 回调:对各个阶段做日志记录、监控、流处理等

模型IO:和大模型交互、提示词模版

数据连接:从数据的接入、分割,到向量的构建、存储、搜索

链:串联和组织,多个语言模型、组件

记忆:灵魂伴侣,最熟悉你的机器

代理:软件不会用怎么办?退下,我来!!

回调:语义表达清,调试更精准

 


LangChain 大模型结合 打造 钢铁侠的全能助理 Jarvis

 


打造AutoGPT:突破文本限制,从语言理解到任务执行,AI分析、AI执行、AI调整、AI验证,去招聘网站招揽、,照顾饮食起居订餐订飞机票、寻找新的挣钱机会,以六千万分之一秒的速度分析信息

 


打造ChatPDF:回归学习本质,跳过所有的繁文缛节、场面话,根据你的理解提问,给你提供最直接的反馈,你听不懂还可以要求举例子、可视化、按流程顺序拆解

这篇关于【解决复杂链式任务,打造全能助手】LangChain 大模型 打造 钢铁侠的全能助理 Jarvis的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/570860

相关文章

从入门到精通详解LangChain加载HTML内容的全攻略

《从入门到精通详解LangChain加载HTML内容的全攻略》这篇文章主要为大家详细介绍了如何用LangChain优雅地处理HTML内容,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录引言:当大语言模型遇见html一、HTML加载器为什么需要专门的HTML加载器核心加载器对比表二

Spring的RedisTemplate的json反序列泛型丢失问题解决

《Spring的RedisTemplate的json反序列泛型丢失问题解决》本文主要介绍了SpringRedisTemplate中使用JSON序列化时泛型信息丢失的问题及其提出三种解决方案,可以根据性... 目录背景解决方案方案一方案二方案三总结背景在使用RedisTemplate操作redis时我们针对

SpringBoot整合Dubbo+ZK注册失败的坑及解决

《SpringBoot整合Dubbo+ZK注册失败的坑及解决》使用Dubbo框架时,需在公共pom添加依赖,启动类加@EnableDubbo,实现类用@DubboService替代@Service,配... 目录1.先看下公共的pom(maven创建的pom工程)2.启动类上加@EnableDubbo3.实

nginx中端口无权限的问题解决

《nginx中端口无权限的问题解决》当Nginx日志报错bind()to80failed(13:Permissiondenied)时,这通常是由于权限不足导致Nginx无法绑定到80端口,下面就来... 目录一、问题原因分析二、解决方案1. 以 root 权限运行 Nginx(不推荐)2. 为 Nginx

解决1093 - You can‘t specify target table报错问题及原因分析

《解决1093-Youcan‘tspecifytargettable报错问题及原因分析》MySQL1093错误因UPDATE/DELETE语句的FROM子句直接引用目标表或嵌套子查询导致,... 目录报js错原因分析具体原因解决办法方法一:使用临时表方法二:使用JOIN方法三:使用EXISTS示例总结报错原

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定,动态列2、动态下拉3、自定义锁定行/列,添加密码4、合并

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、