如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务

2023-11-08 15:20

本文主要是介绍如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大家好,我是DASOU;

回到2018年BERT刚刚横空出世,如果想快速搞一篇BERT的多模态预训练论文,应该从哪些方面去考虑呢?

本文讲两个问题,把多模态BERT知识点串起来【绝对原创,至少我还没看到这么讲过的博文】:

  1. 如何将MLM和多模态数据融合
  2. 如何将NSP任务和多模态数据融合

BERT中的大部分模块都是已经有的,它最大的作用就是证明了可以通过文本重建的方式从大量的无监督语料中获取到知识;

那么我们现在思考的问题就是如何从多模态数据中,使用BERT的架构,学习到有用的知识;

BERT有两个任务,一个是MLM。一个是NSP;

MLM是做文本重建,NSP是做句间关系;

1. 如何将MLM和多模态数据融合

MLM我们需要从三个方面去考虑:

  1. MLM输入形式是什么?
  2. mask的时候需要注意什么?
  3. 输出形式是什么,损失函数是什么?

在多模态场景下,对MLM任务,需要分为两个方向,一个是对文本的重建,称之为Masked Language Modeling (MLM),一个是对图像的重建,称之为Masked Region Modeling(MRM);

文本这边的MLM很简单,和BERT原始本身没区别,就不赘述了;

有意思的是图像重建:MRM;

首先拿到一张图片,要想把这个图片送入到TRM中去,需要的是多个图片tokens;

有几种方式可以做到这一点,首先第一个就是将图片分为一个个的patch,这个老生常谈了,TRM在CV中的应用大部分都是这种方式;

还有一种就是使用Faster-RCNN对图片做目标检测,获取到一个个的含有物体的regions,那么这个regions就是可以认为是一个个的tokens;

这个时候会出现一个问题,我们思考BERT中的文本tokens的输入,不仅仅是embeddings,而且还有position embeddings;

这是因为TRM中tokens之间是无序的,需要使用position embeddings来标明顺序;

那么回到图像这里,用什么来标明顺序呢?一般来说使用的是Faster-RCNN中输出的regions的locations信息【5维或者是7维度】;

仿照文本,我们需要把图片regions的表征和地理位置的表征加起来,由于维度不一致,所以加起来之前需要各自过一个全链接层;

那么【mask】怎么去操作呢,在操作的时候需要注意什么呢?

文本这边还是直接使用【mask】符号去mask掉子词就可以;

那么在图片这边,直接使用全零向量替代掉mask掉的图片regions就可以了;

这里有一个细节很有意思,在mask的时候我们有两种选择,就是文本和图片是混合mask的或者文本和图片是conditional masking;

文本和图片是混合的,就是说明我们在mask的时候不区分图片或者文本,随机mask;

文本和图片是conditional mask,就是说我在mask文本的时候,保持图片是完整的,在mask图片的时候,保持文本是完整的;

这两方式哪种好呢?

我们这么来想:

假如你的句子中存在【苹果】这个单词,而且图片中有【苹果】这个region,那么在mask的时候,会不会存在在mask掉【苹果】这个词汇的时候,同时mask掉了【苹果】这个区域图像呢?

肯定有概率存在这种情况。

所以conditional mask一般来说会更好一点。

我们在来说MLM的第三个问题,输出形式是什么或者说损失函数是什么?

文本这边就是softmax之后找是哪一个单词,从而进行更新梯度;

图片这边会更复杂一点,一般来说分为三种形式,这主要是对于一个图片我们可以使用三种方式描述它;

首先第一种就是使用Faster-RCNN的ROI pooled feature去描述这个图片区域,那么我们就可以使用mask的图片区域的TRM输出的向量接一个全连接打到相同维度,和ROI pooled feature进行一个L2

第二个就是,比如说我现在有图片中物体类别有50个类别,那么当前图片区域的输出就可以是一个50个类别软标签(做了softmax的归一化到概率),这样可以和TRM的输出做KL散度;

第三个是承接第二个,我们可以使用概率最大的那个作为当前区域的类别,也就是得到了一个one-hot,也就是要给硬标签,这个直接做交叉熵就可以

2. 多模态数据如何做NSP任务呢?

其实很简单,NSP任务本质上是做句子间的关系,那么我们只需要类比的做一个图片和文本之间是否匹配的任务就可以了,也就是ITM任务;

ITM本质上是从文本整体和图片整体来做关系,还有的会从字和单个图片区域做关系学习,比如Word-Region Alignment (WRA) ;

多模态这块有点乱,但是大体上就是按照MLM和NSP任务扩展到多模态数据上,这么理解会更容易一些;

这篇关于如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/370726

相关文章

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri