InfiMM-WebMath-40B 数据集是由字节跳动和中国科学院的研究团队于 2024 年发布的，相关论文成果为「InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning」。 该数据集专门为数学推理任务设计的大型开源多模态数据集，包含 2.4k 万网页、 8.5k 万相关图像 URL 和 400 亿个 tokens，所有这些都经过精心提取和过滤，来自 CommonCrawl 数据库 (2019-2023) 。这个数据集的发布，为开源社区提供了一个宝贵的资源，以推进多模态大型语言模型 (MLLMs) 在数学推理方面的能力。 数据集的构建过程包括文本提取、语言过滤、高质量内容过滤、去重和图像 URL 的提取。通过这些步骤，确保了数据集的质量和相关性。在模型训练方面，InfiMM-WebMath-40B 数据集用于继续预训练，以增强模型在多模态设置中获取数学知识的能力。此外，还进行了指令微调，以进一步提高模型性能。

Citation

@misc{han2024infimmwebmath40badvancingmultimodalpretraining, title={InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning}, author={Xiaotian Han and Yiren Jian and Xuefeng Hu and Haogeng Liu and Yiqi Wang and Qihang Fan and Yuang Ai and Huaibo Huang and Ran He and Zhenheng Yang and Quanzeng You}, year={2024}, eprint={2409.12568}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2409.12568}, }