本报告提出了一种用于DCASE 2021挑战赛任务6——声学场景与事件检测与分类（Detection and Classification of Acoustic Scenes and Events, DCASE 2021 Task 6）的音频字幕生成系统。该系统由一个10层卷积神经网络（Convolutional Neural Network, CNN）编码器和一个带有时间注意力机制的单层门控循环单元（Gated Recurrent Unit, GRU）解码器构成。在本次挑战中，允许使用外部数据及预训练模型，无使用限制。为更有效地建模音频片段中的语义概念，我们首先在AudioSet数据集上利用音频标注任务对CNN编码器进行预训练。在完成标准交叉熵损失训练后，我们进一步采用强化学习对模型进行微调，以直接优化评估指标。实验结果表明，所提出的系统在公开评估集上无需集成（ensemble）即可达到28.6的SPIDEr得分。