摘要

自动生成影像报告在减轻放射科医生工作负担方面具有重要价值。一种临床适用的报告生成算法应证明其在生成准确描述放射学发现并关注患者特定指征的报告方面的有效性。本文介绍了一种新颖的方法——结构实体提取及患者指征融合（SEI）用于胸部X光报告的生成。具体而言，我们采用了结构实体提取（SEE）方法来消除报告中的展示风格词汇，提高事实实体序列的质量。这通过将X光图像与报告中的事实实体序列对齐，减少了后续跨模态对齐模块中的噪声，从而提高了跨模态对齐的精度，并进一步帮助模型在无需梯度的情况下检索相似的历史病例。随后，我们提出了一种跨模态融合网络，以整合X光图像、相似历史病例和患者特定指征的信息。这一过程使文本解码器能够关注X光图像的判别特征，吸收相似病例的历史诊断信息，并理解患者的检查意图。进而，这有助于触发文本解码器生成高质量的报告。在MIMIC-CXR数据集上进行的实验验证了SEI在自然语言生成和临床效能指标方面优于现有最先进方法的优势。