指代消解原理

2024-05-01 02:44
文章标签 原理 指代 消解

本文主要是介绍指代消解原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

指代,在下文采用简称或者代称来代替上文已经出现的某一词语,语言学中把这种现象叫做指代现象。

指代,是语言学中的一种语言现象,使用指代词来代替文本中已经出现的某个语言单元的表达方式。将代表同一实体的不同表述划分到一个等价集合的过程称为指代消解。指代消解在信息抽取、智能问答等任务中,具有十分重要的作用。

人称代词:【李明】怕高妈妈一人呆在家里寂寞,【他】便将家里的电视搬了过来。
指示代词:【很多人都想创造一个美好的世界留给孩子】,【这】可以理解,但不完全正确
有定描述:【贸易制裁】似乎成了【美国政府在对华关系中惯用的大棒】。然而,这【大棒】果真如美国政府所希望的那样灵验吗?

指代消解:形式上,将代表同一实体的不同指称划分到一个等价集合(指代链)的过程称为指代消解。

概念

照应语Anaphor,指代上文语言单元的词语;

先行语Antencedent,指代词所指向的语言单元。

实体,Entity,客观存在的一个或一类物体。

指称,Mention,指代某个实体的表述。

实体可以使用名字来表示,也可以使用名词、代词、短语来表示,代表同一实体的 不同表达方式都称为指称。

指代分两种:

1)回指:照应语和先行语之间存在语义关联,指代关系依赖上下文,不同语境下照应语指代不同实体。

2)共指,两个指称语表示现实世界的同一实体,指代关系独立于上下文客观存在。

中文指代类别:

1)代词指代,你我他、这个、那个等

2)名词短语指代

场景

  • 全文理解:完整的文章中有大量的指代,要理解文章内容需要知道每一个代词指向的是哪一个实体。
  • 文本摘要:使用代词会使行文更加自然,而不是全文均为实体自身名称。
  • 问答系统:比如搜索“谁娶了Claudia Ross”,出来“He married Claudia Ross in 1971”,则系统必须消解“He”是谁。
  • 信息抽取:当关系抽取或者事件抽取时,缺乏关键实体或论元时,关系或事件无法成立,特别在一些公文或法律文书中,类似“原告”、“被告”并不是常规的实体,因此需要将指向对应的实体上。

发展

(1)基于启发式规则

        Hobbs算法:基于句法解析树,对实体短语和先行语之间的关系进行指代判别。RAP算法:依靠句法分析特征和动态关注状态解决第三人称代词和反身代词的指代消解问题。基于规则的指代消解方案,大多利用句法分析和语义角色信息,通过指定严密的规则约束来达到匹配指代词和先行语的目的。

(2)基于统计模型

    基于统计的方阿飞中,先行语和指代词之间的共现频率为重要的考虑指标,同时融合二者之间的词汇、语法、句法、语义一致性等特征进行指代关系判断。

(3)基于机器学习分类模型

        1)指称对模型

        将指代消解任务转化为判断先行与与指代词之间是否匹配的分类任务。

        2)实体-指称模型

        同一指代链中各指代语指向概念相同的同一实体,实体-指称模型不再是判断两个实体是否是指代关系,而是判断当前实体是否能够并入指代链当中的过程。

        3)排序模型

        指代词选择多个候选先行语中概率最高的一个,建立指代关系。

        基于中心理论构建tournament模型,对两个候选先行语进行比较,选择二者概率较大的建立指代关系。另外还有有监督的最大熵排序指代消解算法。排序算法能够为当前实体找到候选指代链中的选择最优,但是该模型不能解决当前实体是否是指代词的问题。

        

基于深度学习模型

        Clark基于高维度指代链特征,学习clstering-paire特征,学习合并不同的指代链,并形成最终的指代决策。

        Lee等人提出端到端的深度学习指代消解模型,zhang等人采用双仿射注意力机制,在端到端指代消解模型当中对指称识别和指代关系构建两个子任务进行联合。

        Aralikatte将指代消解任务转化为阅读理解任务,2020年Wu等人将阅读理解任务融入到端到端的指代消解模型。

这篇关于指代消解原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/950544

相关文章

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

Java Stream的distinct去重原理分析

《JavaStream的distinct去重原理分析》Javastream中的distinct方法用于去除流中的重复元素,它返回一个包含过滤后唯一元素的新流,该方法会根据元素的hashcode和eq... 目录一、distinct 的基础用法与核心特性二、distinct 的底层实现原理1. 顺序流中的去重

Spring @Scheduled注解及工作原理

《Spring@Scheduled注解及工作原理》Spring的@Scheduled注解用于标记定时任务,无需额外库,需配置@EnableScheduling,设置fixedRate、fixedDe... 目录1.@Scheduled注解定义2.配置 @Scheduled2.1 开启定时任务支持2.2 创建

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

Mysql的主从同步/复制的原理分析

《Mysql的主从同步/复制的原理分析》:本文主要介绍Mysql的主从同步/复制的原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录为什么要主从同步?mysql主从同步架构有哪些?Mysql主从复制的原理/整体流程级联复制架构为什么好?Mysql主从复制注意

Nacos注册中心和配置中心的底层原理全面解读

《Nacos注册中心和配置中心的底层原理全面解读》:本文主要介绍Nacos注册中心和配置中心的底层原理的全面解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录临时实例和永久实例为什么 Nacos 要将服务实例分为临时实例和永久实例?1.x 版本和2.x版本的区别

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源(如数据库连接、线程、网络连接)优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解(以数据库连接池为例)三、高级配置与优化四、典型应用场景五、注意事