LlamaIndex 实现 RAG(四)- RAG 跟踪监控

2024-08-26 20:44

本文主要是介绍LlamaIndex 实现 RAG(四)- RAG 跟踪监控,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

RAG 整个流程不复杂,集成三大部分包括文档解析并生成向量、根据查询问题查找语意相似的数据文档块、把查询问题和召回文档作为上下文的数据传给模型进行解答。大语言模型的应用开发和传统的开发方式区别很大,以前开发完成,只要逻辑正确,结果肯定是固定的,但是由于模型的特性,结果是基于概率计算的,加上自然语言的特殊性,近义词很多,每次回答都是正确的,但是返回的内容确不一样,可能是有些词改为了近义词,也可能描述的角度不一样了。

如果不加以控制,可能模型回答正确率就达不到要求,例如,如果模型正确率 60%,5 次回答中有 2 次是错的,这个用户就无法接受了。所以监控和评估对于 RAG 来讲就尤其重要,本文将介绍如何使用 LlamaIndex 进行 RAG 整体流程监控以及跟踪。

RAG监控

如何跟踪监控 RAG流程,监控的方式可以分为日志监控和可视化监控,日志监控可以提高开发阶段的效率,清晰的了解每一步 RAG 都做了什么,传的参数是什么,返回结果是什么。大语言模型的开发需要集成多方组件,而且大量使用提示词,如果链路很长,找问题是一个比较耗时的工作。下面将介绍如何通过日志方式和可视化的方式进行 RAG 的跟踪。

打开Log 日志

在 LlamaIndex 中通过以下代码打开 RAG 日志,运行 RAG 之后可以看到日志输出:

import logging
import syslogging.basicConfig(stream=sys.stdout, level=logging.DEBUG)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

Log 中可以看出文档导入,文档搜索以后后续模型调用情况

  • 文档导入相关日志
    在这里插入图片描述
  • 搜索召回日志
    在这里插入图片描述
  • 大模型调用
    在这里插入图片描述
可视化跟踪

通过 Log 日志监控在开发阶段可以快速定位问题,但在测试环境定位问题比较困难,在大量的文字日志中查找问题是一个比较困难费时的事,在应用开发通常会使用 ES 全家桶对日志进行采集以及分析。LlamaIndex 同样集成了很多日志监控工具,在这里我们使用Arize Phoenix进行监控,Arize Phoenix 具体安装方式可以参考这篇文章。

安装 LlamaIndex Arize Phoenix 依赖库

pip install llama-index-callbacks-arize-phoenix  

发送监控数据到 arize-phoenix 服务端,

#首先启动服务
import phoenix as px
px.launch_app(host="0.0.0.0")  

接入数据

set_global_handler("arize_phoenix", endpoint="http://10.91.3.116:6006/v1/traces")
LlamaIndexInstrumentor().instrument()

进入 UI 管理界面 http://10.91.3.116:6006/,可以看到列表暂时没有数据

在这里插入图片描述
启动 RAG,程序运行完成之后,当回到列表页时可以看到 RAG 的端到端的运行过程传入的数据以及返回结果。
在这里插入图片描述
文档分块的详情
在这里插入图片描述

总结

LlamaIndex 中可以集成多种监控工具,现在开源、闭源的 AI 监控工具很多,无论选择何种工具,核心功能就是监控数据流、提示词、文档块。在测试过程中,需要根据大模型的返回进行评估,并根据结果进一步调优模型、提示词、Embedding 模型等等。RAG 过程数据非常重要,是后续优化的基础。下一篇我们看一下如何对 RAG 的结果进行评估,并持续优化 RAG 各个组件。

这篇关于LlamaIndex 实现 RAG(四)- RAG 跟踪监控的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1109632

相关文章

C#控制台程序同步调用WebApi实现方式

《C#控制台程序同步调用WebApi实现方式》控制台程序作为Job时,需同步调用WebApi以确保获取返回结果后执行后续操作,否则会引发TaskCanceledException异常,同步处理可避免异... 目录同步调用WebApi方法Cls001类里面的写法总结控制台程序一般当作Job使用,有时候需要控制

SpringBoot集成P6Spy的实现示例

《SpringBoot集成P6Spy的实现示例》本文主要介绍了SpringBoot集成P6Spy的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录本节目标P6Spy简介抛出问题集成P6Spy1. SpringBoot三板斧之加入依赖2. 修改

Python实现数据可视化图表生成(适合新手入门)

《Python实现数据可视化图表生成(适合新手入门)》在数据科学和数据分析的新时代,高效、直观的数据可视化工具显得尤为重要,下面:本文主要介绍Python实现数据可视化图表生成的相关资料,文中通过... 目录前言为什么需要数据可视化准备工作基本图表绘制折线图柱状图散点图使用Seaborn创建高级图表箱线图热

Redis分布式锁中Redission底层实现方式

《Redis分布式锁中Redission底层实现方式》Redission基于Redis原子操作和Lua脚本实现分布式锁,通过SETNX命令、看门狗续期、可重入机制及异常处理,确保锁的可靠性和一致性,是... 目录Redis分布式锁中Redission底层实现一、Redission分布式锁的基本使用二、Red

基于Python实现数字限制在指定范围内的五种方式

《基于Python实现数字限制在指定范围内的五种方式》在编程中,数字范围限制是常见需求,无论是游戏开发中的角色属性值、金融计算中的利率调整,还是传感器数据处理中的异常值过滤,都需要将数字控制在合理范围... 目录引言一、基础条件判断法二、数学运算巧解法三、装饰器模式法四、自定义类封装法五、NumPy数组处理

Python中经纬度距离计算的实现方式

《Python中经纬度距离计算的实现方式》文章介绍Python中计算经纬度距离的方法及中国加密坐标系转换工具,主要方法包括geopy(Vincenty/Karney)、Haversine、pyproj... 目录一、基本方法1. 使用geopy库(推荐)2. 手动实现 Haversine 公式3. 使用py

MySQL进行分片合并的实现步骤

《MySQL进行分片合并的实现步骤》分片合并是指在分布式数据库系统中,将不同分片上的查询结果进行整合,以获得完整的查询结果,下面就来具体介绍一下,感兴趣的可以了解一下... 目录环境准备项目依赖数据源配置分片上下文分片查询和合并代码实现1. 查询单条记录2. 跨分片查询和合并测试结论分片合并(Shardin

Spring Security重写AuthenticationManager实现账号密码登录或者手机号码登录

《SpringSecurity重写AuthenticationManager实现账号密码登录或者手机号码登录》本文主要介绍了SpringSecurity重写AuthenticationManage... 目录一、创建自定义认证提供者CustomAuthenticationProvider二、创建认证业务Us

MySQL配置多主复制的实现步骤

《MySQL配置多主复制的实现步骤》多主复制是一种允许多个MySQL服务器同时接受写操作的复制方式,本文就来介绍一下MySQL配置多主复制的实现步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录1. 环境准备2. 配置每台服务器2.1 修改每台服务器的配置文件3. 安装和配置插件4. 启动组复制4.

MySQL数据脱敏的实现方法

《MySQL数据脱敏的实现方法》本文主要介绍了MySQL数据脱敏的实现方法,包括字符替换、加密等方法,通过工具类和数据库服务整合,确保敏感信息在查询结果中被掩码处理,感兴趣的可以了解一下... 目录一. 数据脱敏的方法二. 字符替换脱敏1. 创建数据脱敏工具类三. 整合到数据库操作1. 创建服务类进行数据库