该数据集为上海人工智能实验室（上海 AI 实验室）联合南京大学、中国科学院等机构于 2024 年联合发布高质量大规模视频-文本数据集，旨在应对日益扩大的视频-语言建模规模需求，推动大模型视频理解和生成能力进一步提升。 作为当前全球最大的视频-文本公开数据集之一，InternVid 包含超 700 万条配有详细文本描述的视频，涵盖 16 种场景和约 6,000 个动作描述，总时长接近 76 万小时，并具备高视频-文本对应性，数据集中的视频与文本描述高度匹配，为视频-文本语义匹配、视频-文本检索、视频-文本生成等多模态学习任务训练提供 “视频词典” 。 InternVid 受到学术界广泛关注，已应用于多模态世界模型 LWM，并被 Google 、 Stable AI 的视频生成工作使用或参考，相关论文在 2024 年国际表征学习大会 (ICLR 2024) 获 Spotlight 。

Citation

@article{wang2023internvid,
title={InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation},
author={Wang, Yi and He, Yinan and Li, Yizhuo and Li, Kunchang and Yu, Jiashuo and Ma, Xin and Chen, Xinyuan and Wang, Yaohui and Luo, Ping and Liu, Ziwei and Wang, Yali and Wang, Limin and Qiao, Yu},
journal={arXiv preprint arXiv:2307.06942},
year={2023}
}
@article{wang2022internvideo,
title={InternVideo: General Video Foundation Models via Generative and Discriminative Learning},
author={Wang, Yi and Li, Kunchang and Li, Yizhuo and He, Yinan and Huang, Bingkun and Zhao, Zhiyu and Zhang, Hongjie and Xu, Jilan and Liu, Yi and Wang, Zun and Xing, Sen and Chen, Guo and Pan, Junting and Yu, Jiashuo and Wang, Yali and Wang, Limin and Qiao, Yu},
journal={arXiv preprint arXiv:2212.03191},
year={2022}
}