tf.identity 和 tf.control_dependencies的用法

2024-08-27 09:18

本文主要是介绍tf.identity 和 tf.control_dependencies的用法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

关于 tf.control_dependencies(具体参考博客,也是本文主要参考对象):
tf.control_dependencies(control_inputs)设计是用来控制计算流图的,给图中的某些计算指定顺序。比如:我们想要获取参数更新后的值,那么我们可以这么组织我们的代码。

opt = tf.train.Optimizer().minize(loss)with tf.control_dependencies([opt]): # 即执行过括号中的操作再执行下面的操作updated_weight = tf.identity(weight)with tf.Session() as sess:tf.global_variables_initializer().run()sess.run(updated_weight, feed_dict={...}) # 这样每次得到的都是更新后的weight

总结一句话就是,在执行某些op,tensor之前,某些op,tensor得首先被运行。


关于tf.identity的用法:

tf.identity(input,name=None)
#Return a tensor with the same shape and contents as input.
#返回一个tensor,contents和shape都和input的一样。

简单地说就是返回了一个一模一样新的tensor,再control_dependencies的作用块下,需要增加一个新节点到gragh中。(别人的总结:为cpu gpu传输什么的提供更好的性能。就像你做一个电路板,有些地方要把线路引出来,调试的时候可以看中间结果一样,tf.identity就是为了在图上显示这个值而创建的虚拟节点。)
在Stack Overflow中有一个问题对tf.identity进行了举例,具体如下:

x = tf.Variable(0.0)
x_plus_1 = tf.assign_add(x, 1) # 对x进行加1,x_plus_l是个opwith tf.control_dependencies([x_plus_1]):y = x
init = tf.global_variables_initializer()with tf.Session() as session:init.run() # 相当于session.run(init)for i in xrange(5):print(y.eval()) # y.eval()这个相当于session.run(y)

上面的代码返回结果为:

0.0
0.0
0.0
0.0
0.0

因为这样相当于x_plus_1 这个op没有被运行,因为一般我们在session中会这么执行:

with tf.Session() as session:init.run()for i in range(5):session.run(x_plus_1) #添加了这行代码print(y.eval())

返回的结果即是我们想要得到的效果:

1.0
2.0
3.0
4.0
5.0

但是通过tf.identity也可以得到相同的结果:

x = tf.Variable(0.0)
x_plus_1 = tf.assign_add(x, 1)with tf.control_dependencies([x_plus_1]):y = tf.identity(x)
init = tf.initialize_all_variables()with tf.Session() as session:init.run()for i in xrange(5):print(y.eval())

下面说明两种 control_dependencies 不 work 的情况

下面有两种情况,control_dependencies不work,其实并不是它真的不work,而是我们的使用方法有问题。

第一种情况:

import tensorflow as tf
w = tf.Variable(1.0)
ema = tf.train.ExponentialMovingAverage(0.9)
update = tf.assign_add(w, 1.0)ema_op = ema.apply([update])
with tf.control_dependencies([ema_op]):ema_val = ema.average(update)with tf.Session() as sess:tf.global_variables_initializer().run()for i in range(3):print(sess.run([ema_val]))

也许你会觉得,在我们 sess.run([ema_val]), ema_op 都会被先执行,然后再计算ema_val,实际情况并不是这样,为什么?
有兴趣的可以看一下源码,就会发现 ema.average(update) 不是一个 op,它只是从ema对象的一个字典中取出键对应的 tensor 而已,然后赋值给ema_val。这个 tensor是由一个在 tf.control_dependencies([ema_op]) 外部的一个 op 计算得来的,所以 control_dependencies会失效。解决方法也很简单,看代码:

import tensorflow as tf
w = tf.Variable(1.0)
ema = tf.train.ExponentialMovingAverage(0.9)
update = tf.assign_add(w, 1.0)ema_op = ema.apply([update])
with tf.control_dependencies([ema_op]):ema_val = tf.identity(ema.average(update)) #一个identity搞定with tf.Session() as sess:tf.global_variables_initializer().run()for i in range(3):print(sess.run([ema_val]))

第二种情况:这个情况一般不会碰到

import tensorflow as tf
w = tf.Variable(1.0)
ema = tf.train.ExponentialMovingAverage(0.9)
update = tf.assign_add(w, 1.0)ema_op = ema.apply([update])
with tf.control_dependencies([ema_op]):w1 = tf.Variable(2.0)ema_val = ema.average(update)with tf.Session() as sess:tf.global_variables_initializer().run()for i in range(3):print(sess.run([ema_val, w1]))

这种情况下,control_dependencies也不 work。读取 w1 的值并不会触发 ema_op, 原因请看代码:

#这段代码出现在Variable类定义文件中第287行,
# 在创建Varible时,tensorflow是移除了dependencies了的
#所以会出现 control 不住的情况
with ops.control_dependencies(None):...      

这篇关于tf.identity 和 tf.control_dependencies的用法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1111257

相关文章

SpringBoot3.4配置校验新特性的用法详解

《SpringBoot3.4配置校验新特性的用法详解》SpringBoot3.4对配置校验支持进行了全面升级,这篇文章为大家详细介绍了一下它们的具体使用,文中的示例代码讲解详细,感兴趣的小伙伴可以参考... 目录基本用法示例定义配置类配置 application.yml注入使用嵌套对象与集合元素深度校验开发

SpringBoot UserAgentUtils获取用户浏览器的用法

《SpringBootUserAgentUtils获取用户浏览器的用法》UserAgentUtils是于处理用户代理(User-Agent)字符串的工具类,一般用于解析和处理浏览器、操作系统以及设备... 目录介绍效果图依赖封装客户端工具封装IP工具实体类获取设备信息入库介绍UserAgentUtils

Java中的@SneakyThrows注解用法详解

《Java中的@SneakyThrows注解用法详解》:本文主要介绍Java中的@SneakyThrows注解用法的相关资料,Lombok的@SneakyThrows注解简化了Java方法中的异常... 目录前言一、@SneakyThrows 简介1.1 什么是 Lombok?二、@SneakyThrows

Python中的getopt模块用法小结

《Python中的getopt模块用法小结》getopt.getopt()函数是Python中用于解析命令行参数的标准库函数,该函数可以从命令行中提取选项和参数,并对它们进行处理,本文详细介绍了Pyt... 目录getopt模块介绍getopt.getopt函数的介绍getopt模块的常用用法getopt模

mysql中的group by高级用法

《mysql中的groupby高级用法》MySQL中的GROUPBY是数据聚合分析的核心功能,主要用于将结果集按指定列分组,并结合聚合函数进行统计计算,下面给大家介绍mysql中的groupby用法... 目录一、基本语法与核心功能二、基础用法示例1. 单列分组统计2. 多列组合分组3. 与WHERE结合使

Java中Scanner的用法示例小结

《Java中Scanner的用法示例小结》有时候我们在编写代码的时候可能会使用输入和输出,那Java也有自己的输入和输出,今天我们来探究一下,对JavaScanner用法相关知识感兴趣的朋友一起看看吧... 目录前言一 输出二 输入Scanner的使用多组输入三 综合练习:猜数字游戏猜数字前言有时候我们在

java解析jwt中的payload的用法

《java解析jwt中的payload的用法》:本文主要介绍java解析jwt中的payload的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java解析jwt中的payload1. 使用 jjwt 库步骤 1:添加依赖步骤 2:解析 JWT2. 使用 N

Linux命令之firewalld的用法

《Linux命令之firewalld的用法》:本文主要介绍Linux命令之firewalld的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux命令之firewalld1、程序包2、启动firewalld3、配置文件4、firewalld规则定义的九大

SQL BETWEEN 的常见用法小结

《SQLBETWEEN的常见用法小结》BETWEEN操作符是SQL中非常有用的工具,它允许你快速选取某个范围内的值,本文给大家介绍SQLBETWEEN的常见用法,感兴趣的朋友一起看看吧... 在SQL中,BETWEEN是一个操作符,用于选取介于两个值之间的数据。它包含这两个边界值。BETWEEN操作符常用

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引(Full-Textindex)的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七