4 个月前

烹饪场景中的跨模态检索:学习语义文本-图像嵌入

烹饪场景中的跨模态检索:学习语义文本-图像嵌入

摘要

设计支持烹饪活动的强大工具近年来因海量数据的可用性和机器学习在分析这些数据方面取得的最新进展而迅速受到关注。本文提出了一种跨模态检索模型,该模型在共享表示空间中对齐视觉和文本数据(如菜肴图片及其食谱)。我们描述了一种有效的学习方案,能够解决大规模问题,并在包含近100万张图片与食谱配对的Recipe1M数据集上对其进行了验证。我们展示了该方法相对于先前最先进模型的有效性,并呈现了计算烹饪应用场景中的定性结果。

代码仓库

Cadene/recipe1m.bootstrap.pytorch
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
cross-modal-retrieval-on-recipe1mAdaMine
Image-to-text R@1: 39.8
Text-to-image R@1: 40.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
烹饪场景中的跨模态检索:学习语义文本-图像嵌入 | 论文 | HyperAI超神经