【苏黎世联邦理工博士论文】深度强化学习的体系结构

来源：专知
本文为论文介绍，建议阅读5分钟
本文不关注实证结果，而是从研究反向传播在架构设计和训练中的简单数学含义开始。

自从深度学习和深度强化学习出现以来，已经有大量的经验成功地利用某种人工神经网络来解决给定的优化问题。然而，许多公司的内部运作方式只被人们模糊地了解，并隐藏在成功的故事中。通过揭示各种含义，这篇论文试图建立一个理解为什么某些神经网络架构设计工作，以及关键的是为什么其他的不能工作。本文不关注实证结果，而是从研究反向传播在架构设计和训练中的简单数学含义开始。然后，提出一种稀疏的全连接层替代方案，以避免信号传播中的瓶颈。它进一步展示了如何设计单调神经网络，以及如何使用这些网络在连续动作空间控制设置中为智能体提供更灵活的策略表示。这本书进一步讨论了将神经网络分成多个模块的权衡和设计。特别是，模块化的需求在目标相互冲突的多任务设置中得到了体现。最后，讨论了最近提出的注意力架构及其隐含含义。贯穿整篇论文的结果强调了超参数之间的关联效应和定制架构设计的必要性。本文适合有技术背景的读者。它被写得让刚开始接触神经网络的人也能理解。然而，即使是该领域的资深研究人员也可能对所呈现的独特观点感兴趣。

https://www.research-collection.ethz.ch/handle/20.500.11850/541752

作为一个由经验结果驱动的领域，深度学习是众多神经结构设计方案的发源地。几乎每天都有新的论文发表，建议对某些架构组件进行轻微修改，以提高性能。然而，由于大量的混杂因素，通常不清楚性能的提高实际上是由于架构的变化，还是由于超参数的差异，数据预处理的变化，表示能力的增加，或者只是初始化参数的幸运抽奖。本文着眼于深度强化学习的应用前景，旨在更好地理解神经网络的基本内部工作原理及其设计。

特别地，本文首先强调了反向传播的隐式内存需求、常用激活函数的工作范围以及体系结构组件对梯度传播的影响。展示了架构瓶颈和门控机制如何导致梯度消失，并讨论了残差连接对梯度动态的影响。它还强调了通过体系结构提供算法结构的必要性，以及结构和有利的训练动态之间的内在权衡。在第一个实际示例中，本文提出了一种全连接层的稀疏替代方案，可以减少参数计数，而不会引入不必要的瓶颈。在强化学习方面，本文提出了一种在连续动作空间环境中控制的新方法。该方法基于分位数回归和神经网络的单调性约束。这种组合允许在网络参数中隐式地表示策略，从而提供了表示复杂动作分布的灵活性。这种策略的必要性在竞争游戏和约束内存设置中得到了证明。此外，该方法还提高了经典控制问题的学习性能。本文进一步探讨了多任务学习的局限性，并针对干扰任务目标的问题提出了两种解决方案——一种是基于注意力架构先验的解决方案，另一种是基于与无监督任务聚类配对的神经网络解决方案。这两种方法都有效地缓解了这个问题，从而提高了性能，并在不同的环境中具有更广泛的适用性。

本文最后深入研究了注意力架构和transformer对超参数的敏感性。它强调了将注意力权重约束到概率单形的含义，以及这些如何反映训练表现。它进一步展示了内部softmax激活如何像sigmoid一样容易饱和，以及transformer在初始化时如何不是序列长度独立的。在对抽象任务的大规模实证研究中，将Transformer与可选架构设计进行比较。结果突出了超参数选择的相关效应，不同架构对数据偏差的鲁棒性，以及算法对齐对底层任务的重要性。