打造高效问答系统:合合信息文档解析工具的应用与实践

本文主要是介绍打造高效问答系统:合合信息文档解析工具的应用与实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

官.网地址:合合TextIn - 合合信息旗下OCR云服务产品

LLM(大型语言模型)的应用落地正快速推动着各行各业工作模式的革新。根据埃森哲在2023年发布的研究报告,预计全行业中有40%的工作时间将得到大语言模型的支持与协助。通过引入AI作为辅助,不仅能重塑员工的工作方式,还能通过自动化技术显著提升工作效率和生产力。

除了常规的知识问答,针对细分领域的专业问答对企业人员来说更具实用价值,比如在阅读冗长的论文或报告时,大模型可以完成综述、归纳和辅助分析等工作。但是这也引出了一个问题:当提供的材料相对复杂冗长时,大型模型是否能够进行文档解析并给出准确答案呢?

一、基于文档内容,大模型能给出准确的回答吗?

在文档交互中,大模型需要做到:根据文件内容给出精准回答、提供关联信息建议并给出专业分析参考。

通常企业在工作过程中,会面临大量的文件信息,人工阅读往往需要消耗大量的时间和精力。尤其在面对扫描或图片文档时,常规办公软件无法完成关键词检索,导致信息收集困难。大模型可以解决这个问题吗?合合信息技术团队以国内某自然语言大模型为例进行了测试。

01.企业年报

首先,上传一份多达100页的企业年报扫描文本,并进行提问:根据文档内容,该公司的上市时间、地点以及营业期限分别的何时何地?大模型准确无误地给出了答案。

接着,再次提问:报告中提到的企业与客户间的销售商品合同包含哪些条款?大模型同样精准地提供了答案。将回答与原文对比,发现其信息不仅准确,而且详尽全面。

这些示例表明,在处理年报等长篇文档的信息提取任务时,大模型能够有效地提供分析辅助,帮助用户快速把握关键信息。

02.经济报告

上传一份包含数据与图表的经济报告并进行提问:依据报告,美国CPI食品的1月官方值是多少?

大模型回答如下:

根据您提供的文件内容,报告中并没有直接提供美国CPI食品的1月官方值。如果需要1月的具体数值,可能需要查阅其他官方数据发布渠道或等待官方数据的公布。

但是如果进行人工检索,可在报告中获得如下表格,清楚地写明了CPI食品1月的官方值。

那么问题来了,为什么大模型读取不到这一信息呢?

03.期刊论文

上传扫描版论文后,提出具体问题:根据所给文件,精氨酸在40度的水中,溶解度是多少?

大模型回答如下:

文档中并没有直接提供精氨酸在40℃时的具体溶解度数值。同时,它补充:如果文档中确实包含了40℃的溶解度数据,但由于文档不完整或扫描不清晰导致无法读取,请提供更详细的信息或完整的文档,以便进行准确回答。

然而,表格中清晰地提供了这些信息:

在实际的工作场景中,需要识别的文件往往是纷繁多样的,其中包括清晰且便于机器读取的纯文字电子文件,也可能包含大量形式的图表,或是来源时期不一的纸质扫描档、模糊或扭曲的页面。大模型目前的回答还未达到理想状态。

二、为什么大模型的回答会不准确?

通过上述几项测试可以看到大模型在面对经济报告和期刊论文的回答并不准确。使用合合信息的文档解析工具把PDF版的经济报告转成Markdown格式后再次发送给大模型,并提出相同的问题。此时大模型给出了正确答案。

在期刊论文案例中,有线表格中的内容同样得到了正确提取。这表明,问题就出现在文档解析环节。

在先前的测试中,大模型没有从文档中准确捕捉到关键信息,而当合合信息文档解析产品把图文档进行格式处理,转化成机器可读格式,大模型就能基于文档内容,快速准确的给出答案。

在业界实践中,目前问答模型的落地面临以下几个挑战:

第一,文档识别的失败率较高。

当面对复杂的版面时,模型无法正确地解析文档,包括获取标题、分块文本、图表等内容。在这种情况下,大型模型常常无法提供细节信息的答案,或者给出错误的答案。

第二,逻辑结构的解析不完整。

模型在划分段落语义时可能出现错误,导致回答不全面或存在总结性偏差。

第三,召回效果不佳。

这可能是由于训练数据的不平衡,影响了模型的检索召回能力。

而面对前两种问题,文档解析工具能够助力解析获取内容极大提升大模型的应答能力,优化用户体验。

三、如何试用文档解析工具?

合合信息文档解析产品已经上架TextIn平台,每位开发者都可以注册账号并开通使用。

访问入口icon-default.png?t=N7T8https://link.zhihu.com/?target=https%3A//www.textin.com/market/detail/pdf_to_markdown

点击【免费体验】,即可在线试用,如下图所示:

如果想试试用代码调用,也可以访问对应的接口文档内容:

代码调用入口​icon-default.png?t=N7T8https://link.zhihu.com/?target=https%3A//www.textin.com/document/pdf_to_markdown

平台提供了一个Playground,帮开发者们预先调试接口。

点击页面中【API调试】按钮,即可进入调试页面。

在这里可以简单配置一些接口参数,发起调用后,右侧就会出现调用结果。

这篇关于打造高效问答系统:合合信息文档解析工具的应用与实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1031915

相关文章

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Java操作Word文档的全面指南

《Java操作Word文档的全面指南》在Java开发中,操作Word文档是常见的业务需求,广泛应用于合同生成、报表输出、通知发布、法律文书生成、病历模板填写等场景,本文将全面介绍Java操作Word文... 目录简介段落页头与页脚页码表格图片批注文本框目录图表简介Word编程最重要的类是org.apach

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法

Spring WebFlux 与 WebClient 使用指南及最佳实践

《SpringWebFlux与WebClient使用指南及最佳实践》WebClient是SpringWebFlux模块提供的非阻塞、响应式HTTP客户端,基于ProjectReactor实现,... 目录Spring WebFlux 与 WebClient 使用指南1. WebClient 概述2. 核心依

MyBatis-Plus 中 nested() 与 and() 方法详解(最佳实践场景)

《MyBatis-Plus中nested()与and()方法详解(最佳实践场景)》在MyBatis-Plus的条件构造器中,nested()和and()都是用于构建复杂查询条件的关键方法,但... 目录MyBATis-Plus 中nested()与and()方法详解一、核心区别对比二、方法详解1.and()