本文提出了一种简单而高效的方法，用于建模视频对象分割中的时空对应关系。与现有大多数方法不同，我们直接在帧之间建立对应关系，而无需对每个对象重新编码掩码特征，从而构建了一个高效且鲁棒的框架。通过这些对应关系，当前查询帧中的每个节点均可通过关联式地聚合历史帧中的特征进行推断。我们将这一聚合过程建模为一个投票问题，发现现有的内积相似度机制会导致记忆节点的使用效率低下：仅一小部分（固定）的记忆节点始终占据主导投票权，且这一现象与查询内容无关。针对这一问题，我们提出采用负的平方欧氏距离来计算相似度。实验验证表明，该方法使每个记忆节点都有机会参与投票，且实证结果表明，这种多样化的投票机制显著提升了记忆利用效率与推理准确性。对应关系网络与多样化投票机制的协同作用表现卓越，在DAVIS和YouTubeVOS两个数据集上均取得了新的最先进性能，同时在处理多对象场景时，无需额外复杂技巧，即可实现20帧/秒以上的运行速度。