摘要

我们通过学习一个带有动态参数层的卷积神经网络（CNN）来解决图像问答（ImageQA）问题，该动态参数层的权重根据问题自适应地确定。为了实现自适应参数预测，我们采用了单独的参数预测网络，该网络由一个以问题为输入的门控循环单元（GRU）和一个生成候选权重集的全连接层组成。然而，构建用于CNN全连接动态参数层中大量参数的参数预测网络是一个挑战。我们通过引入哈希技术降低了这一问题的复杂性，其中参数预测网络提供的候选权重通过预定义的哈希函数选择，以确定动态参数层中的各个权重。所提出的联合网络——包括用于ImageQA的CNN和参数预测网络——通过反向传播端到端训练，其权重初始化使用了预训练的CNN和GRU。所提出的算法在所有可用的公共ImageQA基准测试中均展示了最先进的性能。