摘要

我们研究了视听观察与一种日常但引人入胜的活动——液体倾倒——背后的物理原理之间的联系。仅凭液体倒入容器时产生的声音，我们的目标是自动推断出诸如液位、容器形状和大小、倾倒速率以及填满时间等物理特性。为此，我们：(i) 从理论上证明这些特性可以通过基频（音高）来确定；(ii) 使用模拟数据和具有物理启发目标的视觉数据监督训练一个音高检测模型；(iii) 引入一个新的大规模真实倾倒视频数据集，以进行系统性的研究；(iv) 展示训练后的模型确实可以对真实数据推断出这些物理特性；最后，(v) 我们展示了该模型在各种容器形状、其他数据集以及野外YouTube视频中的强大泛化能力。我们的工作展示了对声学、物理学和学习交叉领域中一个狭窄而丰富的问题的深刻理解。它为增强机器人倾倒过程中的多感官感知开辟了应用前景。