DB-GPT开源项目文档入门

2024-08-24 10:28

本文主要是介绍DB-GPT开源项目文档入门,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

DB-GPT开源项目文档入门 (qq.com)

场景:服务中小金融机构、服务业小微商家

DB-GPT项目集成了多模型管理、多数据源管理、Text2SQL、增强检索RAG、生成式BI、多智能体,一个大而全的开源框架

项目基本信息

简介:一个原生数据应用开发框架

技术能力:

服务化多模型管理框架(SMMF,Service-oriented Multi-model Management Framework)

Text2SQL效果优化

RAG框架以及优化(RAG,Retrieval-Augmented Generation)

Multi-Agents框架协作

AWEL(Agentic Workflow Expression Language,智能体工作流编排)

分层架构:可视化层(GBT-Vis:md、图表、flow编排)、应用层(DB-GPT:生成式BI、DB对话、Excel对话)、服务层(LLMServer、APIServer等)、模块层(SMMF、RAGs、Agents)、协议层(AWEL)、训练层(DB-GPT-Hub)

核心能力:RAG、GBI(生成式BI)、微调框架、数据驱动的Multi-Agents框架、数据工厂(可信知识、数据的清洗加工)、数据源

大模型常规发展方向:

RAG(通过附加知识库,减少输出幻觉)

智能体(多智能体协调,自动完成复杂任务)

微调(添加私有数据训练,修改原大模型权重,增强大模型某领域能力)

RAG生产落地实践架构

可信知识收集(行情、行研百科知识、专业内容、专家认知)->知识加工(知识块处理、抽取实体关系图、知识评分、向量化)->RAG(查询处理、相似召回、Ranking)->大语言模型->chat(知识问答、阅读助手)

子模块

DB-GPT-Hub:通过微调来持续提升Text2SQL效果

DB-GPT-Plugins:插件仓库,兼容Auto-GPT

GPT-Vis:可视化协议

dbgpts:官方提供的数据应用仓库,构建在DB-GPT上的应用,含智能体应用、智能体编排流程模板、通用算子,

落地产品:数据库专家智能体Kevin、报表分析智能助手

官方文档解读

网址:https://www.yuque.com/eosphoros/dbgpt-docs

环境准备:下载minconda,创建虚拟环境python=3.10

模型部署:openai代理、GLM-4-9b本地部署

智能体编排语言AWEL

分层设计:算子层、AgentFrame层以及DSL层

算子层:LLM应用开发过程中最基本的操作原子,如RAG应用开发时,检索、向量化、模型交互、Prompt处理

AgentFrame层:对算子进一步封装,可以基于算子做链式计算,支持如filter、join、map、reduce等一套链式计算操作

DSL层:提供一套标准的结构化表示语言,写DSL语句完成AgentFrame与算子的操作

源码部署:部署模型、配置元数据库、配置测试数据、运行服务(python dbgpt/app/degpt_server.py)

其他部署方式:docker、docker-compose、AutoDL、小程序云

模型服务部署:多模型服务,单机部署、集群部署

进阶:vLLM推理(提高推理速度)、元数据初始化与更新、OpenAI SDK调用本地多模型

操作手册

智能体工作流使用

通过智能体表达式语言AWEL编排智能体形成工作流,现仓库有三个工作流可用,通过dbgp安装。

示例:搜索对话应用,通过搜索引擎搜索相关知识,总结回答。创建时配置工作模式:awel_layout、flows:awel_flow_info_search

APP创建使用

源码位置:开源的dbgpts项目中,eosphoros-ai/dbgpts: Intelligent data apps and assets with LLMs (github.com)

dpgts项目的其他资源:workflows、agents、opeators

教程:应用面板中创建应用,工作模式设置auto_plan,依赖两个agent,DataScientist和Reporter,都依赖database

六大场景入门教程

六大场景:知识库、数据对话、Excel对话、数据库对话、报表分析、Agents

原生对话:即大模型提供的原生对话能力

知识库

简介:私域知识问答,RAG知识检索增强

操作步骤:创建知识空间、上传文档、等待文档切片+向量化、对话

支持的文档类型:纯文本、URL抓取、PDF、Word、md等

数据对话

简介:与结构化或半结构化数据对话,辅助数据分析与洞察

操作步骤:添加数据源、选择对话场景:数据对话、选择数据库、对话

Excel对话:选择对话场景(char Excel)、上传Excel、对话

数据库对话:选择对话场景(chat DB)、添加数据源、选择基础模型与数据库、对话

报表分析

简介:Dashboard场景,通过自然语言进行智能的报表生成与分析。是生成式BI(GBI)的基本能力之一

步骤:数据准备、添加数据源、选择对话场景(Dashboard)、对话

Agents

简介:数据驱动Multi-Agents智能体框架

插件:内置搜索插件(不能用)

插件使用步骤:进入插件市场->查看github仓库中插件列表->下载插件->选择场景(Agent chat)->配置cookie->插入元数据->对话

github插件仓库:eosphoros-ai/DB-GPT-Plugins: Multi-Agents & Plugins repo for DB-GPT, Can complete various tasks around databases. (github.com)

数据分析Agents

简介:典型的GBI应用场景

操作步骤:数据准备->添加数据源->插入元数据->选择对话场景(Agent chat-数据分析助手)->对话

数据爬取Agents

简介:自动编写程序抓取互联网数据并分析的Agents

操作步骤:编写智能体(已写好代码编写助手CodeAssistantAgent,源码dbgpt/agent/agents/expand/code_assistant_agent.py)、插入元数据、选择对话场景(互联网数据分析助手)、对话

这篇关于DB-GPT开源项目文档入门的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1102212

相关文章

Spring 缓存在项目中的使用详解

《Spring缓存在项目中的使用详解》Spring缓存机制,Cache接口为缓存的组件规范定义,包扩缓存的各种操作(添加缓存、删除缓存、修改缓存等),本文给大家介绍Spring缓存在项目中的使用... 目录1.Spring 缓存机制介绍2.Spring 缓存用到的概念Ⅰ.两个接口Ⅱ.三个注解(方法层次)Ⅲ.

一文教你Java如何快速构建项目骨架

《一文教你Java如何快速构建项目骨架》在Java项目开发过程中,构建项目骨架是一项繁琐但又基础重要的工作,Java领域有许多代码生成工具可以帮助我们快速完成这一任务,下面就跟随小编一起来了解下... 目录一、代码生成工具概述常用 Java 代码生成工具简介代码生成工具的优势二、使用 MyBATis Gen

springboot项目redis缓存异常实战案例详解(提供解决方案)

《springboot项目redis缓存异常实战案例详解(提供解决方案)》redis基本上是高并发场景上会用到的一个高性能的key-value数据库,属于nosql类型,一般用作于缓存,一般是结合数据... 目录缓存异常实践案例缓存穿透问题缓存击穿问题(其中也解决了穿透问题)完整代码缓存异常实践案例Red

SpringBoot项目中Redis存储Session对象序列化处理

《SpringBoot项目中Redis存储Session对象序列化处理》在SpringBoot项目中使用Redis存储Session时,对象的序列化和反序列化是关键步骤,下面我们就来讲讲如何在Spri... 目录一、为什么需要序列化处理二、Spring Boot 集成 Redis 存储 Session2.1

sql语句字段截取方法

《sql语句字段截取方法》在MySQL中,使用SUBSTRING函数可以实现字段截取,下面给大家分享sql语句字段截取方法,感兴趣的朋友一起看看吧... 目录sql语句字段截取sql 截取表中指定字段sql语句字段截取1、在mysql中,使用SUBSTRING函数可以实现字段截取。例如,要截取一个字符串字

SQL Server身份验证模式步骤和示例代码

《SQLServer身份验证模式步骤和示例代码》SQLServer是一个广泛使用的关系数据库管理系统,通常使用两种身份验证模式:Windows身份验证和SQLServer身份验证,本文将详细介绍身份... 目录身份验证方式的概念更改身份验证方式的步骤方法一:使用SQL Server Management S

MySQL 字符串截取函数及用法详解

《MySQL字符串截取函数及用法详解》在MySQL中,字符串截取是常见的操作,主要用于从字符串中提取特定部分,MySQL提供了多种函数来实现这一功能,包括LEFT()、RIGHT()、SUBST... 目录mysql 字符串截取函数详解RIGHT(str, length):从右侧截取指定长度的字符SUBST

MySQL中的事务隔离级别详解

《MySQL中的事务隔离级别详解》在MySQL中,事务(Transaction)是一个执行单元,它要么完全执行,要么完全回滚,以保证数据的完整性和一致性,下面给大家介绍MySQL中的事务隔离级别详解,... 目录一、事务并发问题二、mysql 事务隔离级别1. READ UNCOMMITTED(读未提交)2

MySQL Workbench工具导出导入数据库方式

《MySQLWorkbench工具导出导入数据库方式》:本文主要介绍MySQLWorkbench工具导出导入数据库方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录mysql Workbench工具导出导入数据库第一步 www.chinasem.cn数据库导出第二步

springboot+vue项目怎么解决跨域问题详解

《springboot+vue项目怎么解决跨域问题详解》:本文主要介绍springboot+vue项目怎么解决跨域问题的相关资料,包括前端代理、后端全局配置CORS、注解配置和Nginx反向代理,... 目录1. 前端代理(开发环境推荐)2. 后端全局配置 CORS(生产环境推荐)3. 后端注解配置(按接口