摘要

本文探讨了Segment Anything Model（SAM）在食物图像分割任务中的零样本（zero-shot）能力。针对SAM生成的掩码缺乏类别特定信息的问题，我们提出了一种新颖的框架——FoodSAM。该方法通过将粗粒度语义掩码与SAM生成的掩码进行融合，显著提升了语义分割的精度。此外，我们观察到食物中的各类食材可被视为独立的个体，这促使我们对食物图像实施实例分割（instance segmentation）。进一步地，FoodSAM通过引入目标检测器，将零样本能力拓展至全景分割（panoptic segmentation），从而有效捕捉非食物类物体的信息。受近期可提示分割（promptable segmentation）技术成功的启发，我们还将FoodSAM扩展至支持多种提示变体的可提示分割能力。因此，FoodSAM成为一种全面的解决方案，能够实现从粗粒度到细粒度的多层次食物图像分割。尤为突出的是，该框架是首个在食物图像上同时实现实例分割、全景分割和可提示分割的开创性工作。大量实验验证了FoodSAM的可行性及其出色的性能表现，充分证明了SAM在食物图像分割领域作为一项重要且具有广泛影响力的工具的巨大潜力。相关代码已开源，地址为：https://github.com/jamesjg/FoodSAM。