TensorFlow seq2seq解读

本文主要是介绍TensorFlow seq2seq解读，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

github链接

注：1.2最新版本不兼容，用命令pip3 install tensorflow==1.0.0

在translate.py文件里，是调用各种函数；在seq2seq_model.py文件里，是定义了这个model的具体输入、输出、中间参数是怎样的init，以及获取每个epoch训练数据get_batch和训练方法step。
确定这些之后再考虑各种变量的shape等问题。

代码结构

seq2seq_model.py中定义了seq2seqModelclass结构

__init__函数里：

主要定义了self的各种参数的取值。

• （如果需要sampled softmax： 定义sampled_softmax_loss函数）
• 定义RNN结构
• 准备encoder_inputs等的placeholder
• 调用seq2seq.model_with_buckets得到self.outputs和self.losses
• tf.clip_by_global_norm的方法来得到self.gradient_norms和updates

step函数（进行一次训练）里：

feed：把输入参数的encoder_inputs、decoder_inputs放入input_feed，最后session.run计算output的值。

get_batch函数里：

字面义，从输入参数data中随机选取符合要求bucket_id的数据PAD后返回。
返回结果——以self_test时的encoder_inputs为例，其格式为encoder_size*batch_size(6*32)，decoder_inputs同理

translate.py是直接运行的文件

函数read_data：

读取source language和target language文件，返回n个data_set，每个里面是（source,target）的句子pair，长度符合bucket[n]的要求

函数create_model：

利用seq2seq_model.py生成model结构，如果已经存在ckpt文件，则读取参数，否则session.run(initializer)

函数train：

with tf.session() as sess:

• 调用create_model函数生成model
• 调用read_data生成dev_set和train_set
• training loop: 随机选一个bucket_id->model.get_batch->model.step

函数decode

with tf.session() as sess:

• create_model并load参数
• 读取待翻译的句子，决定对应的bucket_id
• model.get_batch->model.step
• 取可能性最大的output，截断

data_utils.py

ids代表把单词转化为了id，giga开头的是训练文件，newstest是测试文件，vocab里是一行一个单词的单词汇总。

具体分析：

1. model里调用的几个自带函数tf.nn.sampled_softmax_loss、tf.contrib.legacy_seq2seq.embedding_attention_seq2seq、tf.contrib.legacy_seq2seq.model_with_buckets的关系。

tf.nn.sampled_softmax_loss，网络本身通过sampled_softmax(W*x+b)把输入的向量的维度扩展到target_vocab_size，这个函数是用来这一步的loss，会在后来被用于计算整体的loss。
tf.contrib.legacy_seq2seq.embedding_attention_seq2seq是不能计算的loss的，它只是负责返回这个网络的最终输出outputs [batch_size x decoder_size] 和状态states[batch_size x cell.state_size]。主要参数有

encoder_inputs,
decoder_inputs,
cell

tf.contrib.legacy_seq2seq.model_with_buckets是用来和target作比较，能计算出整体的loss（sampled_softmax的loss是一部分）。返回outputs [batch_size x output_size]和losses for each bucket。主要参数有

self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets,
lambda x, y: seq2seq_f(x, y, False),
softmax_loss_function=softmax_loss_function

2. train和decode时的RNN输入和输出是怎样的？

train的时候，decoder_input是完整的

3. sess.run部分的训练方法是怎样的？

在model的初始化部分，定义了self.losses[len(bucket)]、self.gradient_norms[len(bucket)]、self.updates[len(bucket)]。
在model.step部分，定义output_feed即为上述三个合并在一起。当然，要feed的只是某一个bucket，所以要指定[bucket_id]。

代码运行说明：

1. 首先用迅雷下载WMT语料库（压缩包），未避免每次运行都要重新解压，在translate.py文件中的train函数中，把else条件改为

       from_train="../newstest2013.en.ids40000"to_train="../newstest2013.fr.ids40000"from_dev="../newstest2013.en.ids40000"to_dev="../newstest2013.fr.ids40000"

   具体位置根据实际情况判断，其作用是直接读取train和dev的source和target的word_ids文件，而不用每次都重新生成。上图中的.en、.fr结尾的文件都可以删除，因为它们是原始word组成的文件，不再需要。

2. 此命令需要运行很长时间，因为放到了服务器上。且如果不用tutorial中的小参数内存会不够。
   python translate.py --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
   运行后会依次显示：

   Creating 2 layers of 256 units.
   Created model with fresh parameters.
   reading data lines XXX#作用是读取train文件中的句子，根据长度分配到不同的bucket中

   之后进行到translate.py中的while true循环中，不断读取数据再model.step进行训练。同时会显示不同bucket中的perplexity。

3. 经过~30K步（tutorial中的数据）0号1号bucket中的perplexity会下降到个位数，此时即可test。注意命令中的参数务必和train时的一样，否则读取checkpoint会报错。
   python translate.py --decode --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
   成功进入读取输入的翻译阶段~由于训练参数太小效果不理想，如下图：
   

链接：https://github.com/yingtaomj/GNMT_test

这篇关于TensorFlow seq2seq解读的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！