DB-GPT开源项目文档入门

2024-08-24 10:28

本文主要是介绍DB-GPT开源项目文档入门,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

DB-GPT开源项目文档入门 (qq.com)

场景:服务中小金融机构、服务业小微商家

DB-GPT项目集成了多模型管理、多数据源管理、Text2SQL、增强检索RAG、生成式BI、多智能体,一个大而全的开源框架

项目基本信息

简介:一个原生数据应用开发框架

技术能力:

服务化多模型管理框架(SMMF,Service-oriented Multi-model Management Framework)

Text2SQL效果优化

RAG框架以及优化(RAG,Retrieval-Augmented Generation)

Multi-Agents框架协作

AWEL(Agentic Workflow Expression Language,智能体工作流编排)

分层架构:可视化层(GBT-Vis:md、图表、flow编排)、应用层(DB-GPT:生成式BI、DB对话、Excel对话)、服务层(LLMServer、APIServer等)、模块层(SMMF、RAGs、Agents)、协议层(AWEL)、训练层(DB-GPT-Hub)

核心能力:RAG、GBI(生成式BI)、微调框架、数据驱动的Multi-Agents框架、数据工厂(可信知识、数据的清洗加工)、数据源

大模型常规发展方向:

RAG(通过附加知识库,减少输出幻觉)

智能体(多智能体协调,自动完成复杂任务)

微调(添加私有数据训练,修改原大模型权重,增强大模型某领域能力)

RAG生产落地实践架构

可信知识收集(行情、行研百科知识、专业内容、专家认知)->知识加工(知识块处理、抽取实体关系图、知识评分、向量化)->RAG(查询处理、相似召回、Ranking)->大语言模型->chat(知识问答、阅读助手)

子模块

DB-GPT-Hub:通过微调来持续提升Text2SQL效果

DB-GPT-Plugins:插件仓库,兼容Auto-GPT

GPT-Vis:可视化协议

dbgpts:官方提供的数据应用仓库,构建在DB-GPT上的应用,含智能体应用、智能体编排流程模板、通用算子,

落地产品:数据库专家智能体Kevin、报表分析智能助手

官方文档解读

网址:https://www.yuque.com/eosphoros/dbgpt-docs

环境准备:下载minconda,创建虚拟环境python=3.10

模型部署:openai代理、GLM-4-9b本地部署

智能体编排语言AWEL

分层设计:算子层、AgentFrame层以及DSL层

算子层:LLM应用开发过程中最基本的操作原子,如RAG应用开发时,检索、向量化、模型交互、Prompt处理

AgentFrame层:对算子进一步封装,可以基于算子做链式计算,支持如filter、join、map、reduce等一套链式计算操作

DSL层:提供一套标准的结构化表示语言,写DSL语句完成AgentFrame与算子的操作

源码部署:部署模型、配置元数据库、配置测试数据、运行服务(python dbgpt/app/degpt_server.py)

其他部署方式:docker、docker-compose、AutoDL、小程序云

模型服务部署:多模型服务,单机部署、集群部署

进阶:vLLM推理(提高推理速度)、元数据初始化与更新、OpenAI SDK调用本地多模型

操作手册

智能体工作流使用

通过智能体表达式语言AWEL编排智能体形成工作流,现仓库有三个工作流可用,通过dbgp安装。

示例:搜索对话应用,通过搜索引擎搜索相关知识,总结回答。创建时配置工作模式:awel_layout、flows:awel_flow_info_search

APP创建使用

源码位置:开源的dbgpts项目中,eosphoros-ai/dbgpts: Intelligent data apps and assets with LLMs (github.com)

dpgts项目的其他资源:workflows、agents、opeators

教程:应用面板中创建应用,工作模式设置auto_plan,依赖两个agent,DataScientist和Reporter,都依赖database

六大场景入门教程

六大场景:知识库、数据对话、Excel对话、数据库对话、报表分析、Agents

原生对话:即大模型提供的原生对话能力

知识库

简介:私域知识问答,RAG知识检索增强

操作步骤:创建知识空间、上传文档、等待文档切片+向量化、对话

支持的文档类型:纯文本、URL抓取、PDF、Word、md等

数据对话

简介:与结构化或半结构化数据对话,辅助数据分析与洞察

操作步骤:添加数据源、选择对话场景:数据对话、选择数据库、对话

Excel对话:选择对话场景(char Excel)、上传Excel、对话

数据库对话:选择对话场景(chat DB)、添加数据源、选择基础模型与数据库、对话

报表分析

简介:Dashboard场景,通过自然语言进行智能的报表生成与分析。是生成式BI(GBI)的基本能力之一

步骤:数据准备、添加数据源、选择对话场景(Dashboard)、对话

Agents

简介:数据驱动Multi-Agents智能体框架

插件:内置搜索插件(不能用)

插件使用步骤:进入插件市场->查看github仓库中插件列表->下载插件->选择场景(Agent chat)->配置cookie->插入元数据->对话

github插件仓库:eosphoros-ai/DB-GPT-Plugins: Multi-Agents & Plugins repo for DB-GPT, Can complete various tasks around databases. (github.com)

数据分析Agents

简介:典型的GBI应用场景

操作步骤:数据准备->添加数据源->插入元数据->选择对话场景(Agent chat-数据分析助手)->对话

数据爬取Agents

简介:自动编写程序抓取互联网数据并分析的Agents

操作步骤:编写智能体(已写好代码编写助手CodeAssistantAgent,源码dbgpt/agent/agents/expand/code_assistant_agent.py)、插入元数据、选择对话场景(互联网数据分析助手)、对话

这篇关于DB-GPT开源项目文档入门的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1102212

相关文章

MySQL数据库双机热备的配置方法详解

《MySQL数据库双机热备的配置方法详解》在企业级应用中,数据库的高可用性和数据的安全性是至关重要的,MySQL作为最流行的开源关系型数据库管理系统之一,提供了多种方式来实现高可用性,其中双机热备(M... 目录1. 环境准备1.1 安装mysql1.2 配置MySQL1.2.1 主服务器配置1.2.2 从

vite搭建vue3项目的搭建步骤

《vite搭建vue3项目的搭建步骤》本文主要介绍了vite搭建vue3项目的搭建步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1.确保Nodejs环境2.使用vite-cli工具3.进入项目安装依赖1.确保Nodejs环境

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

mysql8.0.43使用InnoDB Cluster配置主从复制

《mysql8.0.43使用InnoDBCluster配置主从复制》本文主要介绍了mysql8.0.43使用InnoDBCluster配置主从复制,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录1、配置Hosts解析(所有服务器都要执行)2、安装mysql shell(所有服务器都要执行)3、

k8s中实现mysql主备过程详解

《k8s中实现mysql主备过程详解》文章讲解了在K8s中使用StatefulSet部署MySQL主备架构,包含NFS安装、storageClass配置、MySQL部署及同步检查步骤,确保主备数据一致... 目录一、k8s中实现mysql主备1.1 环境信息1.2 部署nfs-provisioner1.2.

idea+spring boot创建项目的搭建全过程

《idea+springboot创建项目的搭建全过程》SpringBoot是Spring社区发布的一个开源项目,旨在帮助开发者快速并且更简单的构建项目,:本文主要介绍idea+springb... 目录一.idea四种搭建方式1.Javaidea命名规范2JavaWebTomcat的安装一.明确tomcat

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装

MySQL中VARCHAR和TEXT的区别小结

《MySQL中VARCHAR和TEXT的区别小结》MySQL中VARCHAR和TEXT用于存储字符串,VARCHAR可变长度存储在行内,适合短文本;TEXT存储在溢出页,适合大文本,下面就来具体的了解... 目录一、VARCHAR 和 TEXT 基本介绍1. VARCHAR2. TEXT二、VARCHAR

MySQL中C接口的实现

《MySQL中C接口的实现》本节内容介绍使用C/C++访问数据库,包括对数据库的增删查改操作,主要是学习一些接口的调用,具有一定的参考价值,感兴趣的可以了解一下... 目录准备mysql库使用mysql库编译文件官方API文档对象的创建和关闭链接数据库下达sql指令select语句前言:本节内容介绍使用C/

使用EasyPoi快速导出Word文档功能的实现步骤

《使用EasyPoi快速导出Word文档功能的实现步骤》EasyPoi是一个基于ApachePOI的开源Java工具库,旨在简化Excel和Word文档的操作,本文将详细介绍如何使用EasyPoi快速... 目录一、准备工作1、引入依赖二、准备好一个word模版文件三、编写导出方法的工具类四、在Export