音频分类是将音频样本映射到对应标签的重要任务。近年来，基于自注意力机制的Transformer模型已被引入该领域。然而，现有的音频Transformer模型普遍存在对GPU显存需求大、训练时间长的问题，且通常依赖预训练的视觉模型才能达到较高性能，这在一定程度上限制了其在音频任务中的可扩展性。为解决上述问题，本文提出HTS-AT：一种具有分层结构的音频Transformer模型，旨在减少模型规模与训练时间。该模型进一步结合了令牌-语义模块，将最终输出映射为类别特征图，从而实现音频事件检测（即时间上的定位）。我们在三个音频分类数据集上对HTS-AT进行了评估，结果表明，该模型在AudioSet和ESC-50数据集上取得了新的最先进（SOTA）性能，在Speech Command V2数据集上达到与现有SOTA相当的水平。此外，HTS-AT在事件定位任务上的表现优于以往基于CNN的模型。更重要的是，HTS-AT仅需前序音频Transformer模型约35%的参数量和15%的训练时间。实验结果充分证明了HTS-AT在性能与效率方面的显著优势。