将人类领域知识融入乳腺肿瘤诊断面临挑战，因为形状、边界、曲率、灰度强度等常见医学先验信息在不同患者之间差异显著，难以统一应用。本文提出一种新方法，将视觉显著性引入深度学习模型，用于超声图像中的乳腺肿瘤分割。视觉显著性指图像中更可能吸引放射科医生视觉注意的区域所构成的图像映射。所提出的方法在U-Net架构中引入注意力模块，学习优先关注显著性水平较高的空间区域的特征表示。验证结果表明，相较于未引入显著性注意力层的模型，该方法在肿瘤分割任务中显著提升了精度。在包含510张图像的数据集上，该方法取得了90.5%的Dice相似系数。该显著性注意力模型具有潜力，可通过将任务特定知识融入深度学习架构，提升对其他器官医学图像处理的准确性与鲁棒性。