摘要

本工作介绍了 Vilio，一个基于前沿视觉-语言模型的实现，并将其应用于仇恨表情包数据集（Hateful Memes Dataset）。所实现的模型均被整合至统一的代码框架中，并经过优化以提升性能。Vilio 的目标是为各类视觉-语言任务提供一个用户友好的起点。在共计 3,300 名参赛者参与的仇恨表情包挑战赛（Hateful Memes Challenge）中，Vilio 中集成的 5 种不同视觉-语言模型的集成方法取得了第二名的成绩。相关代码已开源，地址为：https://github.com/Muennighoff/vilio。