摘要

文本到图像生成和图像描述生成最近作为评估机器智能的新实验范式而崭露头角。这些任务在生成过程中预测连续量，并伴随采样技术，使得评估变得复杂且难以获得边缘分布。基于多模态生成评估利用视觉-语言预训练模型的最新趋势，我们提出了一种统一的度量方法——负高斯互信息（使用CLIP特征），并将其命名为互信息散度（Mutual Information Divergence，简称MID）。为了验证该方法的有效性，我们在文本到图像生成和图像描述生成任务中，通过精心生成的数据或人工标注的判断结果，广泛地将其与其他竞争性度量方法进行了比较。实验结果显示，提出的MID在多个基准测试中表现出一致性、样本经济性和对所利用CLIP模型的鲁棒性方面显著优于其他竞争方法。我们期待看到高斯互信息在多模态表示学习中的未被充分认识的影响以及基于这一新提议的未来研究工作。