摘要

皮肤癌是全球最常见的癌症类型，约占所有确诊肿瘤的30%。早期诊断可显著降低死亡率，并有效预防不同身体部位的毁容性后果。近年来，机器学习技术，尤其是深度学习，在该领域展现出良好前景，多项研究已证实，将患者的临床信息与病变部位的图像相结合，对于提升皮肤病变分类的准确性至关重要。然而，如何有效融合多源图像与临床信息仍是一个关键挑战，亟需进一步深入研究。因此，本项目旨在推动基于多模态机器学习模型的发展，以应对皮肤病变分类任务，采用轻量级Transformer模型作为核心架构。本研究的核心假设是：通过整合来自不同来源的多幅图像及患者病史中的临床信息，可实现更为可靠的诊断结果。我们的模型致力于解决一个非平凡的任务——在计算资源需求较低的轻量级Transformer架构中，有效融合皮肤病变的图像数据与来自病史记录（病案摘要）的临床信息，同时在保持高效性的同时，仍能取得具有竞争力的分类性能。