摘要

结肠镜检查目前是检测结直肠癌最敏感的方法之一。本研究探讨了智能结肠镜技术的前沿及其在多模态医学应用中的前景。为此，我们首先通过四个结肠镜场景感知任务评估当前的数据中心和模型中心的研究现状，这些任务包括分类、检测、分割和视觉-语言理解。这一评估使我们能够识别特定领域的挑战，并揭示出结肠镜多模态研究仍有待进一步探索的空间。为了迎接即将到来的多模态时代，我们建立了三个基础项目：大规模多模态指令调优数据集 ColonINST（结肠镜指令调优数据集）、专为结肠镜设计的多模态语言模型 ColonGPT（结肠镜GPT）以及一个多模态基准测试。为了便于跟踪这一快速发展的领域，我们提供了一个公开网站以发布最新进展：https://github.com/ai4colonoscopy/IntelliScope。