摘要

食物检测正逐渐成为食品计算中的一个基本任务，支持各种多媒体应用，包括食物推荐和饮食监测。为了应对现实世界场景，食物检测需要定位并识别在训练过程中未见过的新颖食物对象，这要求实现零样本检测（Zero-Shot Detection, ZSD）。然而，语义属性的复杂性和类内特征多样性给ZSD方法在区分细粒度食物类别时带来了挑战。为了解决这一问题，我们提出了用于零样本食物检测（Zero-Shot Food Detection, ZSFD）的语义分离扩散合成器（Semantic Separable Diffusion Synthesizer, SeeDS）框架。SeeDS由两个模块组成：语义分离合成模块（Semantic Separable Synthesizing Module, S$^3$M）和区域特征去噪扩散模型（Region Feature Denoising Diffusion Model, RFDDM）。S$^3$M从食材和菜肴中学习解耦的语义表示，以增强的语义信息合成具有区分性的食物特征。RFDDM利用一种新颖的扩散模型生成多样化的区域特征，并通过细粒度合成特征增强ZSFD的效果。大量实验表明，我们提出的方法在两个食物数据集ZSFooD和UECFOOD-256上实现了最先进的ZSFD性能。此外，SeeDS在通用ZSD数据集PASCAL VOC和MS COCO上也表现出有效性。代码和数据集可访问https://github.com/LanceZPF/SeeDS获取。