PubMedVision 是一个大规模且高质量的医疗多模态数据集，由深圳市大数据研究院、香港中文大学和 National Health Data Institute 的研究团队于 2024 年创建，包含 130 万个医学 VQA 样本。相关论文成果为「HuatuoGPT-Vision, Towards Injecting Medical Visual Knowledge into Multimodal LLMs at Scale」。 该数据集通过精细的数据处理方法，从 PubMed 国际医学期刊的论文中筛选出与医疗相关的图片及有信息量的图片描述，有效过滤了大量医疗无关的图片和上下文不相关内容。为了提高图文数据的对齐度，研究团队采用视觉大模型 (GPT-4V) 对图片进行重新描述，并构建了 10 个场景的对话，将图文数据改写为问答形式，增强了医疗视觉知识的学习。

Citation

@misc{chen2024huatuogptvisioninjectingmedicalvisual,
title={HuatuoGPT-Vision, Towards Injecting Medical Visual Knowledge into Multimodal LLMs at Scale},
author={Junying Chen and Ruyi Ouyang and Anningzhe Gao and Shunian Chen and Guiming Hardy Chen and Xidong Wang and Ruifei Zhang and Zhenyang Cai and Ke Ji and Guangjun Yu and Xiang Wan and Benyou Wang},
year={2024},
eprint={2406.19280},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2406.19280},
}