摘要

当前序列到序列（seq2seq）模型面临的一个主要挑战是如何处理长序列，例如在摘要生成和文档级机器翻译任务中。这些任务要求模型能够在词元（token）、句子乃至段落等多个层次上进行推理。为此，我们设计并研究了一种新型的分层注意力Transformer架构（Hierarchical Attention Transformer, HAT），该架构在多个序列到序列任务中表现优于标准Transformer模型。此外，我们的模型在四项摘要任务（包括PubMed、arXiv、CNN/Daily Mail、SAMSum和AMI）上取得了当前最优的ROUGE得分。在WMT20英语到德语的文档级机器翻译任务中，该模型也超越了现有的基线模型。通过可视化分层编码器-解码器注意力机制，我们进一步探究了各分层所学习到的特征表示。最后，我们还研究了仅编码器架构下的分层预训练方法，并分析其在分类任务中的表现。