HyperAIHyperAI

Command Palette

Search for a command to run...

TalkNCE:通过对话感知的对比学习改进主动说话人检测

Chaeyoung Jung extsuperscript1* Suyeon Lee extsuperscript1* Kihyun Nam extsuperscript1 Kyeongha Rho extsuperscript1 You Jin Kim extsuperscript2 Youngjoon Jang extsuperscript1 Joon Son Chung extsuperscript1

摘要

本研究的目标是主动说话者检测(Active Speaker Detection, ASD),即在一系列视频帧中判断某个人是否正在说话。以往的研究主要通过探索网络架构来解决这一任务,而对有效表示的学习则较少涉及。在本工作中,我们提出了一种新的以说话为中心的对比损失函数——TalkNCE。该损失函数仅应用于屏幕上的人员实际说话的部分片段,这促使模型通过语音和面部运动之间的自然对应关系学习有效的表示。我们的损失函数可以与现有的ASD模型训练目标联合优化,无需额外的监督或训练数据。实验结果表明,我们的损失函数可以轻松集成到现有的ASD框架中,提升其性能。我们的方法在AVA-ActiveSpeaker和ASW数据集上达到了最先进的表现。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TalkNCE:通过对话感知的对比学习改进主动说话人检测 | 论文 | HyperAI超神经