剖析 | torch.cumsum维度详解

2024-01-22 02:48

本文主要是介绍剖析 | torch.cumsum维度详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近看别人代码的时候看到这么一个函数,一看吧,感觉是个求和的函数,毕竟有sum这种,可能性还是比较大,于是准备深入看看,具体是干嘛的。

1.写法。先不管结果如何,代码得先写出来。

函数原型:

torch.cumsum(input, dim, *, dtype=None, out=None) → Tensor

返回维度dim中输入元素的累计和。【功能:累加】
例如,如果输入是大小为N的向量,则结果也将是大小为N的带有元素的向量。【运算后维度不变】

说明必须要有两个参数,一个是tensor类型的输入,也就是数据,另外一个是操作的维度,这也是今天的核心,很多人在维度上是不理解的,或者说是混淆的。

第一种写法(官网):

torch.cumsum(input, dim=?)

第二种写法(代码中看到的写法):

b = input.cumsum(dim=?)

大概的写法就这两种,主要分析下维度是如何计算的。采用官网的写法来测试一下,一般维度就三维算高的了,所以我就测试了一维、二维和三维数据时候的效果。

一维数据:

x1 = torch.arange(0, 6)
print(x1)
y1 = torch.cumsum(x1, dim=0)  
print(y1)
y2 = torch.cumsum(x1, dim=-1)
print(y2)

运行结果:

 

结果分析:

y1(dim=0)的结果是:第一列不变,后面的列依次在上一列基础上加上自身的数。

第1列,值0,不变,和为本身,即:0;

第2列,值1,累加前一列值0,和为:0+1=1

第3列,值2,累加前一列值1,和为:1+2=3

第4列,值3,累加前一列值3,和为:3+3=6

第5列,值4,累加前一列值6,和为:6+4=10

第6列,值5,累加前一列值10,和为:10+5=15

y2(dim=-1)的结果和y1的结果一致。这是为什么嘞?一维数据的规模结果就只有一个数,这里算出来就是6,dim=0,指的是列不变,dim=-1也是指的列不变。

可以想象成一个循环圈,本来只有一个数据dim=0,但是由于方向可以反向,于是出现了dim=-1,既然到了头部0都还要减去1,那就到了尾部,这里一维数据很特殊,头部和尾部都是dim=0,所以dim=-1和dim=0就是一样的了,于是运行结果一致了。

二维数据:

a1 = torch.arange(0, 6).view(2, 3)
print(a1)
b1 = torch.cumsum(a1, dim=0)  
c1 = torch.cumsum(a1, dim=1)  
d1 = torch.cumsum(a1, dim=-1) 
print(b1)
print(c1)
print(d1)

运行结果:

结果分析:

二维数据的规模结果有两个数,第一个表示行数,第二个表示列数。这里是一个2行3列的二维数据,dim=0,指的是行不变,dim=1表示列不变。

b1(dim=0)的计算过程:行不变,指的是第一行不变,后面的行依次累加。

第一行,0,1,2,值不变,计算结果就是0,1,2

第二行,3,4,5,与上一行值累加,这里是对应位置的相加,所以就是:0+3,1+4,2+5,结果是3,5,7

综合计算结果就是运行结果中的第二个tensor效果。

c1(dim=1)的计算结果:列不变,指的是第一列不变,后面的列依次累加

第一列:0,3,值不变,计算结果就是0,3

第二列,1,4,累加前一列,0+1,3+4,所以计算结果是1,7

第三列,2,5,累加前一列,1+2,7+5,所以计算结果是3,12

所以运行结果是:

d1(dim=-1),从运行结果可以看出,计算结果和dim=1的结果一致,这是什么原因嘞?其实有了一维数据的分析,大家可以猜测出来是为什么了,还是画个图理解一下:

二维数据规模中有两个数据,第一个表示行,第二个表示列,所以dim=0表示第一行值不变,后边的行依次累加,dim=1则是第一列不变,后面的列依次累加。dim=-1也就是说在dim=0的前面的维度,根据循环,0的前面没有了,所以dim=-1就等价于了dim=1,所以运行结果和c1和d1是一样的。是不是有点感觉了?接下来分析三维数据。

三维数据:

q1 = torch.arange(0, 16).view(2, 2, 4)
print(q1)
w1 = torch.cumsum(q1, dim=0)  
e1 = torch.cumsum(q1, dim=1)  
r1 = torch.cumsum(q1, dim=2)  
t1 = torch.cumsum(q1, dim=-1)  
print(w1)
print(e1)
print(r1)
print(t1)

 运行结果:

三维数据运行结果看起来有点多,我标记了一下。

结果分析:

三维数据规模计算后有三个数据,我们可以理解为层、行、列。这里的规模是:2,2,4,表示2层,2行,4列的数据。

w1(dim=0)表示层不变,也就是第一层不变,后面的层依次累加。这里一共就2层,第一层不变,那就只需要计算第二层就可以了。

第一层数据:

,由于第一层值不变,所以不管了,结果就是原始的样子

第二层数据:

,需要累加上上一层的数据,对应位置相加,则就是0+8,1+9,2+10,3+11;4+12,5+13,6+14,7+15,所以计算结果是:

[[8,10,12,14],

[16,18,20,22]]

两层综合起来就是计算结果了,也就是运行结果中2表示的样子。

e1(dim=1)表示行不变,也就是第一行不变,后面的行依次累加,这里一共2层,每层有两行,所以,这每层中的手行都不变,也就是圈红的部分不变,

然后后面的行依次累加,也就是:0+4,1+5,2+6,3+7;8+12,9+13,10+14,11+15,也就是4,6,8,10;20,22,24,26,前四个计算出来为第一层的第二行,后四个为第二层的第二行数据,综合起来就是运行结果中3表示的样子.

r1(dim=2)表示列不变,后面的列依次累加,这里也标记一下不变的位置

后面的列依次累加,所以就计算出了运行结果中的4表示样子.

至于t1(dim=-1)为什么和r1效果一致,能自己弄明白了不?三维数据的规模中有三个数,层、行、列,从层开始编号,依次是0,1,2。那么-1就是说在0的前面的维度,根据循环,-1是不是就是指的是2啊,所以dim=-1和dim=2的运行结果是一致的,这里我也放一个图,大家感悟一下吧。

最开始,我喜欢死记硬背,到底是dim=0是行还是列,现在终于找到规律了,实际上还是比较容易理解。

参考:

官网对函数的解释:https://pytorch.org/docs/stable/generated/torch.cumsum.html?highlight=cumsum#torch.cumsum

这篇关于剖析 | torch.cumsum维度详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/631616

相关文章

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

idea的终端(Terminal)cmd的命令换成linux的命令详解

《idea的终端(Terminal)cmd的命令换成linux的命令详解》本文介绍IDEA配置Git的步骤:安装Git、修改终端设置并重启IDEA,强调顺序,作为个人经验分享,希望提供参考并支持脚本之... 目录一编程、设置前二、前置条件三、android设置四、设置后总结一、php设置前二、前置条件

python中列表应用和扩展性实用详解

《python中列表应用和扩展性实用详解》文章介绍了Python列表的核心特性:有序数据集合,用[]定义,元素类型可不同,支持迭代、循环、切片,可执行增删改查、排序、推导式及嵌套操作,是常用的数据处理... 目录1、列表定义2、格式3、列表是可迭代对象4、列表的常见操作总结1、列表定义是处理一组有序项目的

python使用try函数详解

《python使用try函数详解》Pythontry语句用于异常处理,支持捕获特定/多种异常、else/final子句确保资源释放,结合with语句自动清理,可自定义异常及嵌套结构,灵活应对错误场景... 目录try 函数的基本语法捕获特定异常捕获多个异常使用 else 子句使用 finally 子句捕获所

C++11范围for初始化列表auto decltype详解

《C++11范围for初始化列表autodecltype详解》C++11引入auto类型推导、decltype类型推断、统一列表初始化、范围for循环及智能指针,提升代码简洁性、类型安全与资源管理效... 目录C++11新特性1. 自动类型推导auto1.1 基本语法2. decltype3. 列表初始化3

SQL Server 中的 WITH (NOLOCK) 示例详解

《SQLServer中的WITH(NOLOCK)示例详解》SQLServer中的WITH(NOLOCK)是一种表提示,等同于READUNCOMMITTED隔离级别,允许查询在不获取共享锁的情... 目录SQL Server 中的 WITH (NOLOCK) 详解一、WITH (NOLOCK) 的本质二、工作

springboot自定义注解RateLimiter限流注解技术文档详解

《springboot自定义注解RateLimiter限流注解技术文档详解》文章介绍了限流技术的概念、作用及实现方式,通过SpringAOP拦截方法、缓存存储计数器,结合注解、枚举、异常类等核心组件,... 目录什么是限流系统架构核心组件详解1. 限流注解 (@RateLimiter)2. 限流类型枚举 (

Java Thread中join方法使用举例详解

《JavaThread中join方法使用举例详解》JavaThread中join()方法主要是让调用改方法的thread完成run方法里面的东西后,在执行join()方法后面的代码,这篇文章主要介绍... 目录前言1.join()方法的定义和作用2.join()方法的三个重载版本3.join()方法的工作原

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语