HyperAIHyperAI

Command Palette

Search for a command to run...

超越转录:自动语音识别中的机制可解释性

Neta Glazer Yael Segal-Feldman Hilit Segev Aviv Shamsian Asaf Buchnick Gill Hetz Ethan Fetaya Joseph Keshet Aviv Navon

Abstract

可解释性方法近年来受到广泛关注,尤其是在大型语言模型的背景下,有助于揭示语言表征、错误检测以及模型行为(如幻觉和重复)的内在机制。然而,尽管这些技术在自动语音识别(ASR)领域具有巨大潜力,能够推动ASR系统性能与可解释性的双重提升,但相关研究仍处于初步探索阶段。在本研究中,我们系统性地引入并应用了已有的可解释性方法,包括logit lens、线性探测(linear probing)和激活补丁(activation patching),以分析声学与语义信息在ASR系统各层之间的演化过程。实验结果揭示了此前未知的内部动态机制,例如导致重复性幻觉的特定编码器-解码器交互关系,以及深埋于声学表征中的语义偏差。这些发现表明,将可解释性技术拓展并应用于语音识别具有显著价值,为未来提升模型透明度与鲁棒性的研究开辟了富有前景的新方向。


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
超越转录:自动语音识别中的机制可解释性 | Papers | HyperAI超神经