在IRIS中联合运用OCR与NLP技术

2024-03-04 05:40
文章标签 技术 联合 ocr 运用 nlp iris

本文主要是介绍在IRIS中联合运用OCR与NLP技术,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

根据IDC的报道,超过80%的信息是基于NoSQL的,尤其是文本文件。当数字服务或应用程序不能处理所有这些信息时,企业就会遭受损失。为了面对这一挑战,可以使用OCR技术。OCR使用机器学习和/或训练的图像模式将图像像素转化为文本。这一点很重要,因为许多文件被扫描成PDF格式的图像,或者许多文件中包含有文本的图像。因此,OCR是一个重要的步骤,可以从文件中获得所有可能的数据。

为了实现OCR,可以使用开源解决方案Google Tesseract,这是Python和Java社区中最流行的解决方案。Tesseract支持100多个习语,并且可以用新的模型进行训练以识别车牌、验证码等等。Tesseract是在C++中创建的,可以通过Java套用Tess4J构成一个中介层来使用它。下面的代码展示了调用过程。

private String extractTextFromImage ( File tempFile )  throws TesseractException {
 
ITesseract tesseract =  new Tesseract ();
tesseract . setDatapath ( "/usr/share/tessdata/" );  //directory to trained models
tesseract . setLanguage ( "eng+por" );  // choose your language/trained model
 
return tesseract . doOCR (tempFile);  //call tesseract function doOCR() 
//passing the file to be processed with OCR technique
 
}

为了让IRIS使用这个Java类并从Java获得结果,我们需要使用PEX和Java网关解决方案。

首先,有必要在Production中配置Java代理,其次,配置一个PEX业务操作或服务来在Production中连接沟通IRIS和Java。

Class dc . ocr . OcrProduction Extends Ens .Production
{
 
XData ProductionDefinition
{
< Production Name = "dc.ocr.OcrProduction" LogGeneralTraceEvents = "false" >
< Description ></ Description >
< ActorPoolSize > 2 </ ActorPoolSize >
< Item Name = "OcrService" Category = "" ClassName = "dc.ocr.OcrService" PoolSize = "1" Enabled = "true"
Foreground = "false" Comment = "" LogTraceEvents = "false" Schedule = "" >
</ Item >
< Item Name = "JavaGateway" Category = "" ClassName = "EnsLib.JavaGateway.Service" PoolSize = "1"
Enabled = "true" Foreground = "false" Comment = "" LogTraceEvents = "false" Schedule = "" >
< Setting Target = "Host" Name = "ClassPath" > .:/usr/irissys/dev/java/lib/JDK18/*:/opt/irisapp/*
:/usr/irissys/dev/java/lib/gson/*
:/usr/irissys/dev/java/lib/jackson/*:/jgw/ocr-pex-1.0.0.jar
</ Setting >
< Setting Target = "Host" Name = "JavaHome" > /usr/lib/jvm/java-8-openjdk-amd64/ </ Setting >
</ Item >
< Item Name = "OcrOperation" Category = "" ClassName = "EnsLib.PEX.BusinessOperation" PoolSize = "1"
Enabled = "true" Foreground = "false" Comment = "" LogTraceEvents = "false" Schedule = "" >
< Setting Target = "Host" Name = "%gatewayPort" > 55555 </ Setting >
< Setting Target = "Host" Name = "%remoteClassname" > community.intersystems.pex.ocr.OcrOperation </ Setting >
< Setting Target = "Host" Name = "%gatewayExtraClasspaths" > .:/usr/irissys/dev/java/lib/JDK18/*
:/opt/irisapp/*:/usr/irissys/dev/java/lib/gson/*
:/usr/irissys/dev/java/lib/jackson/*
:/jgw/ocr-pex-1.0.0.jar
</ Setting >
</ Item >
</ Production >
}
 
}

现在,任何IRIS Production都可以与Java和Tesseract进行通信了! 如下:

//call ocr method to get text from image, if you want to use pex
Set pRequest =  ##class ( dc . ocr . OcrRequest ). %New ()
Set pRequest . FileName =  file . Filename
// call java pex operation to do ocr, passing file into pRequest and receive ocr text with pResponse
Set tSC = .. SendRequestSync ( "OcrOperation" ,  pRequest , . pResponse ,  1200 )
//save the results into database to use text analytics - nlp
Set ocrTable =  ##class ( dc . ocr . OcrTable ). %New ()
Set ocrTable . FileName =  file . Filename
Set ocrTable . OcrText =  pResponse . StringValue
Set tSC =  ocrTable . %Save ()

所有的代码细节,连同注释都可以在我的OCR服务库(https://openexchange.intersystems.com/package/OCR-Service)中找到。

现在,随着文本的提取,我们需要使用IRIS NLP引擎来分析文本数据,并获得支持决策的见解。为此,当文本被提取后,它被保存到一个表中,这个表被NLP引擎用作文本源。请看上面的表%Save(),请看下面的代码,NLP引用OCRTable(有文本提取的地方)。如下:

Class dc . ocr . OcrNLP Extends %iKnow .DomainDefinition [  ProcedureBlock ]
{
 
XData Domain [  XMLNamespace =  "http://www.intersystems.com/iknow" ]
{
< domain name = "OcrNLP" disabled = "false" allowCustomUpdates = "true" >
< parameter name = "DefaultConfig" value = "OcrNLP.Configuration" isList = "false" />
< data dropBeforeBuild = "true" >
< table listname = "OcrNLPTable" batchMode = "true" disabled = "false"
listerClass = "%iKnow.Source.SQL.Lister" tableName = "dc_ocr.OcrTable" idField = "ID"
groupField = "ID" dataFields = "OcrText" metadataColumns = "FileName" metadataFields = "filename" />
</ data >
< matching disabled = "false" dropBeforeBuild = "true" autoExecute = "true" ignoreDictionaryErrors = "true" />
< metadata >
< field name = "filename" operators = "=" dataType = "STRING" storage = "0" caseSensitive = "false" disabled = "false" />
</ metadata >
< configuration name = "OcrNLP.Configuration" detectLanguage = "true" languages = "en,pt"
userDictionary = "OcrNLP.Dictionary#1" summarize = "true" maxConceptLength = "0" />
< userDictionary name = "OcrNLP.Dictionary#1" />
</ domain >
}
 
}

在我的OCR服务github资源库中看到完整的细节和配置。

现在我们可以上传一些文件,到资源管理器中查看概念和生成的CRC。

请参阅动画与这里讨论的所有步骤。

欢迎尝试 OCR/NLP!

这篇关于在IRIS中联合运用OCR与NLP技术的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/InterSystems/article/details/116206782
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/772167

相关文章

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.

CSS引入方式和选择符的讲解和运用小结

《CSS引入方式和选择符的讲解和运用小结》CSS即层叠样式表,是一种用于描述网页文档(如HTML或XML)外观和格式的样式表语言,它主要用于将网页内容的呈现(外观)和结构(内容)分离,从而实现... 目录一、前言二、css 是什么三、CSS 引入方式1、行内样式2、内部样式表3、链入外部样式表四、CSS 选

Java使用WebView实现桌面程序的技术指南

《Java使用WebView实现桌面程序的技术指南》在现代软件开发中,许多应用需要在桌面程序中嵌入Web页面,例如,你可能需要在Java桌面应用中嵌入一部分Web前端,或者加载一个HTML5界面以增强... 目录1、简述2、WebView 特点3、搭建 WebView 示例3.1 添加 JavaFX 依赖3

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

Java使用Tesseract-OCR实战教程

《Java使用Tesseract-OCR实战教程》本文介绍了如何在Java中使用Tesseract-OCR进行文本提取,包括Tesseract-OCR的安装、中文训练库的配置、依赖库的引入以及具体的代... 目录Java使用Tesseract-OCRTesseract-OCR安装配置中文训练库引入依赖代码实

Python itertools中accumulate函数用法及使用运用详细讲解

《Pythonitertools中accumulate函数用法及使用运用详细讲解》:本文主要介绍Python的itertools库中的accumulate函数,该函数可以计算累积和或通过指定函数... 目录1.1前言:1.2定义:1.3衍生用法:1.3Leetcode的实际运用:总结 1.1前言:本文将详