摘要

本文旨在利用视觉大语言模型（VLLMs）的强大推理能力解决图像和视频感知中的通用分割问题。尽管当前的统一分割方法已经取得了显著进展，但在适应图像和视频场景以及复杂推理分割方面仍存在局限性，这使得它们难以处理各种具有挑战性的指令并实现对细粒度视觉-语言关联的准确理解。为此，我们提出了HyperSeg，这是首个基于VLLM的用于像素级图像和视频感知的通用分割模型，涵盖了通用分割任务及需要强大推理能力和世界知识的更复杂的感知任务。此外，为了充分利用VLLM的识别能力和细粒度视觉信息，HyperSeg集成了混合实体识别模块和细粒度视觉感知模块，以应对各种分割任务。结合时间适配器，HyperSeg实现了对时间信息的全面理解。实验结果验证了我们的见解在解决通用图像和视频分割任务（包括更复杂的推理感知任务）方面的有效性。我们的代码已公开。