今日arXiv最热NLP大模型论文:微软发布可视思维链VoT,提高大模型空间想象力

本文主要是介绍今日arXiv最热NLP大模型论文:微软发布可视思维链VoT,提高大模型空间想象力,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

此项研究提出了一种名为思维可视化(VoT)的技术,旨在通过可视化大型语言模型(LLMs)的推理过程来增强其空间推理能力。实验结果显示,VoT在多跳空间推理任务(如自然语言导航、视觉导航和二维网格世界的视觉切分)中显著提高了LLMs的表现,并超越了现有的多模型大型语言模型。其生成“心理影像”以利于空间推理的能力类似于人类的“心眼”过程,表明VoT在多模大型语言模型中具有潜在可行性。

分享几个网站

GPT-3.5研究测试:
https://hujiaoai.cn

GPT-4研究测试:
https://higpt4.cn

Claude-3研究测试(全面吊打GPT-4):
https://hiclaude3.com

图片

论文标题
Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models

论文链接:
https://arxiv.org/pdf/2404.03622.pdf

VoT提示方法

1. VoT方法的提出背景

Visualization-of-Thought(VoT)提示方法的提出是为了激发LLMs的空间推理能力,通过可视化它们的推理过程,从而指导后续的推理步骤。VoT旨在为LLMs提供一种视觉空间草稿本(visuospatial sketchpad),以可视化它们的推理步骤并通知后续步骤。VoT采用零样本提示(zero-shot prompting),而不是依赖少数样本演示或与CLIP的文本到图像可视化。这一选择源于LLMs能够从基于文本的视觉艺术中获取各种心理图像的能力。

图片

2. VoT方法的具体实现

VoT提示方法的实现包括在每个推理步骤后生成推理痕迹和视觉化的交错过程。研究者使用pθ表示具有参数θ的预训练语言模型,x、y、z表示语言序列,v表示文本形式的视觉序列。在一个多跳空间推理任务中,输入x,CoT提示生成一系列中间步骤z1, ···, zn,每个步骤按顺序采样,然后输出。

这种推理范式使LLMs具备了视觉状态跟踪的能力。研究者引入了状态的概念,视觉状态跟踪通过在每个推理步骤zi之后生成视觉化vi作为内部状态si的心理图像(例如,vi可以是标记路径的导航地图网格或填充的矩形)。通过视觉状态跟踪序列的基础,后续状态通过计算得出。这种基于视觉状态跟踪的机制允许推导出反映时空因果关系的后续状态,并在有根据的上下文中增强LLMs的空间推理能力。

实验设计:任务选择与数据集构建

1. 自然语言导航任务

自然语言导航任务涉及通过随机漫步在一个基础空间结构中导航,并识别之前访问过的位置。这个任务要求模型能够理解闭环,这对于空间导航至关重要。在这个任务中,一个方形地图由一系列随机漫步指令和对应的对象定义,模型的任务是在导航指令的指引下识别出正确的对象。

2. 视觉导航任务

视觉导航任务向LLM展示了一个合成的2D网格世界,挑战模型使用视觉线索进行导航。模型必须生成导航指令,以四个方向(左、右、上、下)移动,从起点到达目的地,同时避开障碍物。这涉及到两个子任务:路线规划和下一步预测,都需要多跳空间推理,其中前者更为复杂。

3. 视觉拼图任务

视觉拼图任务是一个经典的空间推理挑战,研究者将其扩展以测试LLM理解、组织和推理形状的能力。任务涉及一个矩形区域,其中有未填充的单元格和各种多米诺骨牌形状的碎片。模型必须选择适当的多米诺骨牌变体,例如为I形多米诺骨牌选择方向,以解决问答谜题。

图片

图片

实验结果:VoT提示的有效性

1. VoT与其他方法的比较

在所有任务中,VoT提示的GPT-4模型在所有指标上显著优于其他设置。特别是在自然语言导航任务中,GPT-4 VoT比GPT-4 w/o Viz(没有可视化提示的GPT-4)提高了27%。在视觉任务中,GPT-4 CoT与GPT-4V CoT(带有对应图像输入的GPT-4 Vision)之间的显著性能差距表明,带有2D网格输入的LLM可能在具有挑战性的空间推理任务中胜过多模态大语言模型(MLLMs)。

图片

2. VoT在不同任务中的表现

尽管VoT在所有任务中的表现都远未完美,特别是在最具挑战性的路线规划任务中,但它在自然语言导航、视觉导航和视觉拼图任务中的表现证明了其有效性。随着任务复杂性的增加,LLMs的性能显著下降,但即便如此,VoT提示仍然能够显著提高LLMs在这些任务上的表现。

图片

3. 文本到视频生成的竞争性能

通过统一的生成预训练,Video-LaVIT能够灵活地生成视频和图像。在文本到视频生成结果中,该模型在MSR-VTT和UCF-101上的表现显著优于大多数使用类似公共数据集训练的基线,并且与在更大专有数据上训练的模型高度竞争,例如在MSR-VTT上领先FVD。特别是与基于语言模型的文本到视频生成器相比,该方法一致超过CogVideo,同时超过了最近的同期工作VideoPoet,后者使用了更大的数据训练的3D视频分词器。这清楚地验证了分词器设计的优越性。

VoT的观察现象与潜在原因

1. VoT的视觉状态追踪能力

Visualization-of-Thought (VoT) 提出的目的是为了在空间推理任务中模拟人类的“心智之眼”,即通过内部视觉化来增强空间意识和决策。VoT通过提示(prompting)的方式,引导大语言模型(LLMs)在每个推理步骤中生成视觉状态的追踪,从而支持后续的推理步骤。这种方法在自然语言导航、视觉导航和视觉平铺等多跳空间推理任务中表现出了显著的效果,VoT提示的LLMs在这些任务上的表现超过了现有的多模态大语言模型(MLLMs)。

VoT的视觉状态追踪能力体现在其能够生成内部状态的视觉化表示,并利用这些表示来指导后续的推理步骤。例如,在视觉导航任务中,LLMs需要生成导航指令来避开障碍物并到达目的地,VoT使得模型能够在每个推理步骤后生成一个内部状态的视觉化网格图,从而更好地规划路线和预测下一步。

2. VoT的局限性与挑战

尽管VoT在增强LLMs的空间推理能力方面取得了进展,但其也存在局限性和挑战。在实验中观察到,VoT在某些情况下未能展示视觉状态追踪,而在特定任务中,如路线规划任务,GPT-4 CoT(Chain-of-Thought)偶尔会展示出类似的推理模式,但这种情况并不常见。此外,模型输出中常常观察到错误的视觉化表示。

VoT的局限性可能源于LLMs对空间信息的处理能力仍有待提高。例如,在最具挑战性的路线规划任务中,LLMs的表现仍远非完美,尤其是当任务复杂性增加时,LLMs的表现显著下降。此外,LLMs在视觉状态追踪行为上对提示非常敏感,例如,当从VoT提示中移除“推理”一词时,模型在生成错误答案后才进行视觉化采样,这导致追踪率和任务性能下降。

结论与展望

尽管VoT在LLMs中展现出了令人印象深刻的效果,但其在所有任务中的表现仍有提升空间,尤其是在最具挑战性的路线规划任务中。此外,VoT提示可能在那些不需要可视化内部状态即可利用逻辑推理解决的任务中表现不佳。因此,未来的研究将探索如何进一步激发MLLMs中的“心灵之眼”以增强其空间意识,同时寻找从现实世界场景中自动数据增强的有效方法,以学习心理图像的泛化内部表示。

此外,还应探索更多样化和复杂的表示形式,如复杂的几何形状甚至是3D语义,以加强LLMs的“心灵之眼”。这些努力最终将有助于提升LLMs的认知和推理能力,为理解和生成人类级别的空间推理提供新的可能性。

这篇关于今日arXiv最热NLP大模型论文:微软发布可视思维链VoT,提高大模型空间想象力的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/924629

相关文章

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

MySQL启动报错:InnoDB表空间丢失问题及解决方法

《MySQL启动报错:InnoDB表空间丢失问题及解决方法》在启动MySQL时,遇到了InnoDB:Tablespace5975wasnotfound,该错误表明MySQL在启动过程中无法找到指定的s... 目录mysql 启动报错:InnoDB 表空间丢失问题及解决方法错误分析解决方案1. 启用 inno

Java使用MethodHandle来替代反射,提高性能问题

《Java使用MethodHandle来替代反射,提高性能问题》:本文主要介绍Java使用MethodHandle来替代反射,提高性能问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录一、认识MethodHandle1、简介2、使用方式3、与反射的区别二、示例1、基本使用2、(重要)

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

在Java中基于Geotools对PostGIS数据库的空间查询实践教程

《在Java中基于Geotools对PostGIS数据库的空间查询实践教程》本文将深入探讨这一实践,从连接配置到复杂空间查询操作,包括点查询、区域范围查询以及空间关系判断等,全方位展示如何在Java环... 目录前言一、相关技术背景介绍1、评价对象AOI2、数据处理流程二、对AOI空间范围查询实践1、空间查

MySQL表空间结构详解表空间到段页操作

《MySQL表空间结构详解表空间到段页操作》在MySQL架构和存储引擎专题中介绍了使用不同存储引擎创建表时生成的表空间数据文件,在本章节主要介绍使用InnoDB存储引擎创建表时生成的表空间数据文件,对... 目录️‍一、什么是表空间结构1.1 表空间与表空间文件的关系是什么?️‍二、用户数据在表空间中是怎么

CentOS7增加Swap空间的两种方法

《CentOS7增加Swap空间的两种方法》当服务器物理内存不足时,增加Swap空间可以作为虚拟内存使用,帮助系统处理内存压力,本文给大家介绍了CentOS7增加Swap空间的两种方法:创建新的Swa... 目录在Centos 7上增加Swap空间的方法方法一:创建新的Swap文件(推荐)方法二:调整Sww

macOS Sequoia 15.5 发布: 改进邮件和屏幕使用时间功能

《macOSSequoia15.5发布:改进邮件和屏幕使用时间功能》经过常规Beta测试后,新的macOSSequoia15.5现已公开发布,但重要的新功能将被保留到WWDC和... MACOS Sequoia 15.5 正式发布!本次更新为 Mac 用户带来了一系列功能强化、错误修复和安全性提升,进一步增

Maven 依赖发布与仓库治理的过程解析

《Maven依赖发布与仓库治理的过程解析》:本文主要介绍Maven依赖发布与仓库治理的过程解析,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录Maven 依赖发布与仓库治理引言第一章:distributionManagement配置的工程化实践1

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模