摘要

多模态和大语言模型（LLMs）已经革新了开放世界知识的利用方式，解锁了各种任务和应用中的新潜力。在这些领域中，视频领域特别受益于它们的能力。本文介绍了Highlight-CLIP（HL-CLIP），这是一种旨在通过利用多模态模型中预训练的知识，在视频高光检测任务中表现出色的方法。通过简单地微调多模态编码器并结合我们创新的显著性池化技术，我们在高光检测任务的QVHighlight基准测试中达到了最先进的性能，据我们所知。为了进一步优化译文，以下是调整后的版本：多模态和大语言模型（LLMs）已经彻底改变了开放世界知识的应用方式，释放了多种任务和应用的新潜力。在这些领域中，视频领域尤为受益于其能力。本文提出了一种名为Highlight-CLIP（HL-CLIP）的方法，该方法通过利用多模态模型中嵌入的预训练知识，在视频高光检测任务中表现出色。通过仅对多模态编码器进行微调并结合我们的创新显著性池化技术，我们在QVHighlight基准测试中实现了当前最佳的高光检测性能，据我们所知。