4 个月前

基于节点图神经网络的整体搭配学习:服装兼容性研究

基于节点图神经网络的整体搭配学习:服装兼容性研究

摘要

随着时尚市场的快速发展,消费者对时尚推荐的需求日益增加。本文旨在探讨一个实际的时尚推荐问题,即“如何选择合适的单品来搭配给定的时尚物品,以形成一套兼容的穿搭”。解决这一问题的关键在于评估穿搭的兼容性。以往的研究主要集中在两件物品之间的兼容性或将以套装形式表示为序列,未能充分利用套装中各物品之间的复杂关系。为了弥补这一不足,我们提出将套装表示为图的形式。具体而言,我们构建了一个时尚图(Fashion Graph),其中每个节点代表一个类别,每条边则表示两个类别之间的互动。相应地,每个套装可以通过将单品放入其对应的类别节点来表示为子图。为了从这样的图中推断出穿搭的兼容性,我们提出了节点级图神经网络(Node-wise Graph Neural Networks, NGNN),该方法能够更好地建模节点间的交互并学习到更好的节点表示。在NGNN中,每条边上的节点交互都是不同的,由与两个连接节点相关的参数决定。利用注意力机制可以基于学习到的节点表示计算出穿搭的兼容性得分。NGNN不仅可用于从视觉或文本模态建模穿搭兼容性,还可以用于多模态建模。我们在两个任务上进行了实验:(1) 填空任务:建议与现有穿搭组件匹配的单品;(2) 兼容性预测:预测给定穿搭的兼容性得分。实验结果表明,我们的方法在性能上远超其他方法。

代码仓库

CRIPAC-DIG/NGNN
官方
tf
GitHub 中提及

基准测试

基准方法指标
recommendation-systems-on-polyvoreNGNN
Accuracy: 0.7813

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于节点图神经网络的整体搭配学习:服装兼容性研究 | 论文 | HyperAI超神经