摘要

我们提出了一种针对Transformer模型（Vaswani等，2017）的参数共享方法。该方法放宽了广泛采用的技术——即在所有层之间共享同一组参数（如通用Transformer，Dehghani等，2019）——以提升计算效率。为此，我们提出了三种参数分配策略：序列（Sequence）、循环（Cycle）以及反向循环（Cycle (rev)），用于为每一层分配参数。实验结果表明，所提出的策略在参数量和计算时间方面均具有较高的效率。此外，我们还验证了在使用大量训练数据（如近期WMT竞赛所采用的数据规模）的配置下，该方法同样表现出良好的有效性。