jmeter压力测试,通过LLM利用RAG实现知识库问答,NEO4J部署,GraphRAG以知识图谱在查询时增强提示实现更准确的知识库问答(9/7)

本文主要是介绍jmeter压力测试,通过LLM利用RAG实现知识库问答,NEO4J部署,GraphRAG以知识图谱在查询时增强提示实现更准确的知识库问答(9/7),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

        这周也是杂七杂八的一天(高情商:我是一块砖,哪里需要往哪里搬),首先是接触了jemter这个压力测试工具,然后帮公司的AIGC项目编写使用手册和问答手册的第一版,并通过这个平台的智能体实现知识库问答的功能展示,以及部分个人扩展和思考(NEO4J创建知识图谱的GraphRAG)。

Jmeter

        Jmeter是一个压力测试工具,一开始导师叫我熟悉的时候我还说这和postman差不多吗,但实际用下来,Jmeter的压力测试提供了很多自定义的请求内容和方法,和postman差别是很大的。虽然说因为公司这边和学校是有对接项目的,所以开学这段时间,有些项目他们那边的运维搞不定就又到我们这边了,虽然我感觉再给我压力跑跑也没什么太大的实际上的有用。。。

        jmeter去官网下载后,如果你的本地的java环境已经部署好的话,是可以直接跑的比较全的教程,包含配置环境 如果想尝试的,其实可以通过本地部署若依的网站进行测试(强烈建议不要在部署环境运行jmeter的测试),当然你也可以用其他的网站实现。

        在很多的网站中,其实在用户登入的过程中,不仅后台要忙前忙后,不知道呆在哪的数据库也有的慢,通常同一时间的并发实现登入过程,是对整个体系很大挑战,同理像学生选课需要频繁与数据库沟通也是如此,但一般情况下不会有这么大的同一时间访问量,但我相信大家都经历过四六级和选课。此时一般来说暂时的增加算力和流量都是一个不错的方法。

        在若依的网站中,通过登入界面来测试这个过程其实是一个不错的方法,首先摆在我们面前的就是验证码,其实这也是一个很好的保护措施,你也不想未来有一天你的网站数据库因为别人的自动化工具跑暴力解密跑死或者泄密吧。

        通过对项目内查询该网页的组件可以找到相应的功能模块https://blog.csdn.net/Li_Ning21/article/details/136713227 关停验证码功能

        我们在ruoyi-admin\src\main\java\com\ruoyi\web\controller\common\CaptchaController.java文件里面看到验证码的生成过程,是先生成验证码,再通过验证码生成图片,图片再通过流传输发送信息给前端。所以想要压力测试登入界面,就得关停验证码功能。

其他相关测试(JSEncrypt加密登录,类似的思路可以测试RAS,就是之前提到的若依的数据监控密码)

        【jmeter参数化--json格式非扁平化(存在嵌套)

        注意我们可能会在测试时发现,大量的sql请求可能使数据库反应不过来,因为超出了设置的最大请求数和缓存量等,这就需要更改相关的配置(conf)。(csdn很多相关教程,这里不再赘述)

通过LLM利用RAG实现知识库问答

        讲实话,其实并不是通过自己所写代码实现的(当然不),而是利用公司这个项目中的AIGC功能实现该项目自身使用手册进行装载,实现平台使用小助手的功能。

        其实该功能类似于coze以及文擎毕昇(就是用它的开源),一开始首先是通过简单将文档载入实现知识库的创建,以及知识的分片。但实际效果并不理想,回复不可控,容易出现不相关内容,容易胡说,失忆给定限定和角色。

        对于这些问题,尝试通过知识库增加提取限定关键词,预防胡说,对问题语义分析,实现检索召回对用户输入的问题生成3-4个含义相同但表述有差别的问题,再对这几个问题分别进行检索,实现回答内容的更大相关性和准确性,通过加入记忆器,存储之前的对话,尽可能避免出现失忆,限定token量。

        但实际情况下token量仍然不小,对后台的压力也不小,大量的访问估计很能顶住,而且模型的不同,对效果的实现也有不同,虽然通过多次限定和调整,但4o的能力仍然比其他国内大模型更强。原先通过构建智能体实现网页平台小助手的挂件功能估计也不会最后在未来的正式版中出现,可能以功能展示的方式展示。

        

 题外话:NEO4J创建知识图谱的GraphRAG

        这东西说来也奇妙,上面这些东西和主管交流后,主管说这些情况也比较正常,现在能比较好实现效果的也是微软开源的GraphRAG。

        说来也奇妙,看完相关的博客和文章后,有一种深深的熟悉感,在前几个月的课设,我的舍友拿着他不知道拿来的py项目问我会不会搞,没办法,当时确实不会搞,但是现在拿出来把这个项目自己过一遍,发现还真是GraphRAG🤣,幸好没搞好,真成了我都不知道老师看到这个会是什么表情,毕竟上课都没讲这些。

        因为这是别人的项目,我也不好直接放出。我只能说一下思路。

        加载(技能类别和职责类别的)特征词,并构建用于匹配这些特征词的 AC 自动机(Aho-Corasick automaton)。AC 自动机来识别问题中的特征词,并构建一个包含这些特征词及其类型的字典。

比如说,职位招聘公告问答流程

  1. 用户输入问题

    用户通过界面提出关于职位招聘的问题,例如“信息工程师需要哪些技能?”或“信息工程师的主要职责是什么?”
  2. 系统通过分类器识别问题类型

    利用自然语言处理技术,系统识别问题中的关键字和意图。例如,通过识别“技能”、“职责”等词汇,系统可以判断问题关注的是职位的技能要求还是工作内容。
  3. 分析器构建查询语句

    根据问题类型,系统构建相应的查询语句。在知识图谱中,这可能涉及到构建针对特定实体(如“信息工程师”)及其属性或关系的查询。
  4. 在数据库中检索答案

    使用构建的查询语句在知识图谱数据库中检索信息。知识图谱存储了丰富的实体和关系数据,使得系统能够快速找到相关的信息。
  5. 格式化答案并呈现给用户

    检索到的信息需要被格式化,以清晰、易于理解的方式呈现给用户。这可能包括整理数据结构、优化语言表达等。

知识图谱(KG)的应用

        与普通的RGA不同点在于,图的关系,在我们熟悉的E-R图中,圆圈为属性,方块为实体,而知识图谱则是着重体现每个实体之间的关系,他们之间的关系用有方向的线链接,知识图谱强调实体之间的关系,这使得它在处理复杂的、关系密集的数据时更为有效。如果图中信息工程师是一个实体,它连接着技能和职责两个实体,在职位招聘的场景中,知识图谱可以快速的锁定所需要回答答案,他不会因为像普通的RGA一样将大量的文本片段向量化去寻找关键词,而是确定关键词,分析所提问的是该关键词的下沿哪一个实体,然后再去询问数据库,不会产生大量的token数,也不会让LLM在大量的文本中迷失。

(镇帖图)

这篇关于jmeter压力测试,通过LLM利用RAG实现知识库问答,NEO4J部署,GraphRAG以知识图谱在查询时增强提示实现更准确的知识库问答(9/7)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1143685

相关文章

Spring Boot配置和使用两个数据源的实现步骤

《SpringBoot配置和使用两个数据源的实现步骤》本文详解SpringBoot配置双数据源方法,包含配置文件设置、Bean创建、事务管理器配置及@Qualifier注解使用,强调主数据源标记、代... 目录Spring Boot配置和使用两个数据源技术背景实现步骤1. 配置数据源信息2. 创建数据源Be

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

linux批量替换文件内容的实现方式

《linux批量替换文件内容的实现方式》本文总结了Linux中批量替换文件内容的几种方法,包括使用sed替换文件夹内所有文件、单个文件内容及逐行字符串,强调使用反引号和绝对路径,并分享个人经验供参考... 目录一、linux批量替换文件内容 二、替换文件内所有匹配的字符串 三、替换每一行中全部str1为st

SpringBoot集成MyBatis实现SQL拦截器的实战指南

《SpringBoot集成MyBatis实现SQL拦截器的实战指南》这篇文章主要为大家详细介绍了SpringBoot集成MyBatis实现SQL拦截器的相关知识,文中的示例代码讲解详细,有需要的小伙伴... 目录一、为什么需要SQL拦截器?二、MyBATis拦截器基础2.1 核心接口:Interceptor

SpringBoot集成EasyPoi实现Excel模板导出成PDF文件

《SpringBoot集成EasyPoi实现Excel模板导出成PDF文件》在日常工作中,我们经常需要将数据导出成Excel表格或PDF文件,本文将介绍如何在SpringBoot项目中集成EasyPo... 目录前言摘要简介源代码解析应用场景案例优缺点分析类代码方法介绍测试用例小结前言在日常工作中,我们经

基于Python实现简易视频剪辑工具

《基于Python实现简易视频剪辑工具》这篇文章主要为大家详细介绍了如何用Python打造一个功能完备的简易视频剪辑工具,包括视频文件导入与格式转换,基础剪辑操作,音频处理等功能,感兴趣的小伙伴可以了... 目录一、技术选型与环境搭建二、核心功能模块实现1. 视频基础操作2. 音频处理3. 特效与转场三、高

Python实现中文文本处理与分析程序的示例详解

《Python实现中文文本处理与分析程序的示例详解》在当今信息爆炸的时代,文本数据的处理与分析成为了数据科学领域的重要课题,本文将使用Python开发一款基于Python的中文文本处理与分析程序,希望... 目录一、程序概述二、主要功能解析2.1 文件操作2.2 基础分析2.3 高级分析2.4 可视化2.5

Java实现预览与打印功能详解

《Java实现预览与打印功能详解》在Java中,打印功能主要依赖java.awt.print包,该包提供了与打印相关的一些关键类,比如PrinterJob和PageFormat,它们构成... 目录Java 打印系统概述打印预览与设置使用 PageFormat 和 PrinterJob 类设置页面格式与纸张

使用Go实现文件复制的完整流程

《使用Go实现文件复制的完整流程》本案例将实现一个实用的文件操作工具:将一个文件的内容完整复制到另一个文件中,这是文件处理中的常见任务,比如配置文件备份、日志迁移、用户上传文件转存等,文中通过代码示例... 目录案例说明涉及China编程知识点示例代码代码解析示例运行练习扩展小结案例说明我们将通过标准库 os

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟