本文主要是介绍tf.nn.softman_cross_entropy_with_logits及几种交叉熵计算，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
https://www.jianshu.com/p/95d0dd92a88a
就看例子就完事了
tf.nn.softmax
import tensorflow as tf
import numpy as npsess=tf.Session()
#logits代表wx+b的输出，并没有进行softmax（因为softmax后是一个和为1的概率）
logits = np.array([[1, 2, 7],[3, 5, 2],[6, 1, 3],[8, 2, 0],[3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],[0, 1, 0],[1, 0, 0],[1, 0, 0],[0, 1, 0]], dtype=np.float32)# 公式计算，-np.log(y*softmax_out)
# y=n*c,softmax_out是n*c，相当于将每个样本softmax的c个特征中最大的取出来，再取负就是求最小
softmax_out=tf.nn.softmax(logits)
cross_entropy1 = -tf.reduce_sum(labels * tf.log(softmax_out), axis=1) #对应元素相乘，非矩阵乘法
print sess.run(cross_entropy1)#使用一维label计算，对每个样本取第k个元素出来，k代表实际类别
out_v = sess.run(out)
class_v = sess.run(classes)
cross_entropy1_label = -tf.log(out_v[range(len(logits)),class_v])print sess.run(cross_entropy1_label)#---输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)tf.nn.softmax_cross_entropy_with_logits与tf.nn.sparse_softmax_cross_entropy_with_logits
import tensorflow as tfsess=tf.Session()
#logits代表wx+b的输出，并没有进行softmax（因为softmax后是一个和为1的概率）
logits = np.array([[1, 2, 7],[3, 5, 2],[6, 1, 3],[8, 2, 0],[3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],[0, 1, 0],[1, 0, 0],[1, 0, 0],[0, 1, 0]], dtype=np.float32)cross_entropy2 = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels)
sess.run(cross_entropy2)classes = tf.argmax(labels, axis=1) #array([2, 1, 0, 0, 1])
cross_entropy3 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=classes)
sess.run(cross_entropy2)#---cross_entropy2 输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)A 1-D `Tensor` of length `batch_size` of the same type as `logits` with thesoftmax cross entropy loss.#---cross_entropy3 输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)1.tf.nn.softmax_cross_entropy_with_logits与tf.nn.sparse_softmax_cross_entropy_with_logits
输出结果相同，，后者的输入label shape=[batch_size],dtype=int32/int64,range=[0, number_classes-1];前者的label shape=[batch_size, number_classes], dtype=[float32/64]
2.tf.losses.softmax_cross_entropy和tf.losses.sparse_softmax_cross_entropy
都是用于计算不同样本的loss，
tf.losses.softmax_cross_entropy默认weight=1,等价于tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)
weight为标量数字时，等价于w * tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)
weights为向量时，计算出的每个Loss需乘上对应的样本权重再平均。
3.tf.losses.sparse_softmax_cross_entropy
等价于tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits).
这篇关于tf.nn.softman_cross_entropy_with_logits及几种交叉熵计算的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
