mxnet中ndarray*ndarray用来作为掩码进行与运算的用法

2024-02-08 18:38

本文主要是介绍mxnet中ndarray*ndarray用来作为掩码进行与运算的用法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

def batch_loss(encoder, decoder, X, Y, loss):batch_size = X.shape[0]enc_state = encoder.begin_state(batch_size=batch_size)enc_outputs, enc_state = encoder(X, enc_state)# 初始化解码器的隐藏状态dec_state = decoder.begin_state(enc_state)# 解码器在最初时间步的输入是BOSdec_input = nd.array([out_vocab.token_to_idx[BOS]] * batch_size)# 我们将使用掩码变量mask来忽略掉标签为填充项PAD的损失mask, num_not_pad_tokens = nd.ones(shape=(batch_size,)), 0bflag1=1print("调用我的bflag1=",bflag1,"type(bflag1)=",type(bflag1))if(bflag1 == 1):print("type(mask)=",type(mask),"origin mask=",mask,"mask.shape=",mask.shape)bflag1 = bflag1 +1l = nd.array([0])   for y in Y.T:if(bflag1==2):print("y=",y)bflag1 = bflag1+1dec_output, dec_state = decoder(dec_input, dec_state, enc_outputs)l = l + (mask * loss(dec_output, y)).sum()dec_input = y  # 使用强制教学num_not_pad_tokens += mask.sum().asscalar()# 当遇到EOS时,序列后面的词将均为PAD,相应位置的掩码设成0 mask = mask * (y != out_vocab.token_to_idx[EOS])if(bflag1==3):print("mask =",mask,"mask.shape=",mask.shape,"(y != out_vocab.token_to_idx[EOS])=",(y != out_vocab.token_to_idx[EOS]))bflag1 = bflag1+1return l / num_not_pad_tokens输出   注意mask 与 (y != out_vocab.token_to_idx[EOS])的结果都是ndarrayX= 
[[ 9. 30. 27. 45.  4.  3.  1.][12.  5. 44. 37. 16.  4.  3.]]
<NDArray 2x7 @cpu(0)> Y= 
[[ 7.  5. 31. 11. 18.  4.  3.][ 7.  5. 11. 27. 29.  4.  3.]]
<NDArray 2x7 @cpu(0)> Y.T= 
[[ 7.  7.][ 5.  5.][31. 11.][11. 27.][18. 29.][ 4.  4.][ 3.  3.]]
<NDArray 7x2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 7.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[8. 9.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[8. 8.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[9. 8.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 7.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[8. 8.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 9.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 9.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[9. 7.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[8. 9.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[8. 7.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[8. 9.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[9. 9.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 8.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 9.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[9. 7.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 8.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[7. 8.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[8. 7.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
调用我的bflag1= 1 type(bflag1)= <class 'int'>
type(mask)= <class 'mxnet.ndarray.ndarray.NDArray'> origin mask= 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,)
y= 
[9. 8.]
<NDArray 2 @cpu(0)>
mask = 
[1. 1.]
<NDArray 2 @cpu(0)> mask.shape= (2,) (y != out_vocab.token_to_idx[EOS])= 
[1. 1.]
<NDArray 2 @cpu(0)>
(y != out_vocab.token_to_idx[EOS])= <class 'mxnet.ndarray.ndarray.NDArray'>

这篇关于mxnet中ndarray*ndarray用来作为掩码进行与运算的用法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/691870

相关文章

Java进行日期解析与格式化的实现代码

《Java进行日期解析与格式化的实现代码》使用Java搭配ApacheCommonsLang3和Natty库,可以实现灵活高效的日期解析与格式化,本文将通过相关示例为大家讲讲具体的实践操作,需要的可以... 目录一、背景二、依赖介绍1. Apache Commons Lang32. Natty三、核心实现代

Java中 instanceof 的用法详细介绍

《Java中instanceof的用法详细介绍》在Java中,instanceof是一个二元运算符(类型比较操作符),用于检查一个对象是否是某个特定类、接口的实例,或者是否是其子类的实例,这篇文章... 目录引言基本语法基本作用1. 检查对象是否是指定类的实例2. 检查对象是否是子类的实例3. 检查对象是否

Pandas进行周期与时间戳转换的方法

《Pandas进行周期与时间戳转换的方法》本教程将深入讲解如何在pandas中使用to_period()和to_timestamp()方法,完成时间戳与周期之间的转换,并结合实际应用场景展示这些方法的... 目录to_period() 时间戳转周期基本操作应用示例to_timestamp() 周期转时间戳基

Java中的内部类和常用类用法解读

《Java中的内部类和常用类用法解读》:本文主要介绍Java中的内部类和常用类用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录内部类和常用类内部类成员内部类静态内部类局部内部类匿名内部类常用类Object类包装类String类StringBuffer和Stri

Python 异步编程 asyncio简介及基本用法

《Python异步编程asyncio简介及基本用法》asyncio是Python的一个库,用于编写并发代码,使用协程、任务和Futures来处理I/O密集型和高延迟操作,本文给大家介绍Python... 目录1、asyncio是什么IO密集型任务特征2、怎么用1、基本用法2、关键字 async1、async

Java使用Stream流的Lambda语法进行List转Map的操作方式

《Java使用Stream流的Lambda语法进行List转Map的操作方式》:本文主要介绍Java使用Stream流的Lambda语法进行List转Map的操作方式,具有很好的参考价值,希望对大... 目录背景Stream流的Lambda语法应用实例1、定义要操作的UserDto2、ListChina编程转成M

SpringBoot3.4配置校验新特性的用法详解

《SpringBoot3.4配置校验新特性的用法详解》SpringBoot3.4对配置校验支持进行了全面升级,这篇文章为大家详细介绍了一下它们的具体使用,文中的示例代码讲解详细,感兴趣的小伙伴可以参考... 目录基本用法示例定义配置类配置 application.yml注入使用嵌套对象与集合元素深度校验开发

Python位移操作和位运算的实现示例

《Python位移操作和位运算的实现示例》本文主要介绍了Python位移操作和位运算的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 位移操作1.1 左移操作 (<<)1.2 右移操作 (>>)注意事项:2. 位运算2.1

利用python实现对excel文件进行加密

《利用python实现对excel文件进行加密》由于文件内容的私密性,需要对Excel文件进行加密,保护文件以免给第三方看到,本文将以Python语言为例,和大家讲讲如何对Excel文件进行加密,感兴... 目录前言方法一:使用pywin32库(仅限Windows)方法二:使用msoffcrypto-too

SpringBoot UserAgentUtils获取用户浏览器的用法

《SpringBootUserAgentUtils获取用户浏览器的用法》UserAgentUtils是于处理用户代理(User-Agent)字符串的工具类,一般用于解析和处理浏览器、操作系统以及设备... 目录介绍效果图依赖封装客户端工具封装IP工具实体类获取设备信息入库介绍UserAgentUtils