摘要

使用多个半透明彩色图层来表示场景，已成为实时新视角合成中一种流行且成功的方法。现有方法通常在规则间距的平面或球面图层上推断颜色与透明度值。本文提出一种基于场景自适应几何结构的多层半透明新视角合成方法。该方法通过两阶段流程，从立体图像对中推断出此类表示：第一阶段从给定的视角对中推断出少量数据自适应的图层几何结构；第二阶段则为这些图层推断颜色与透明度值，从而生成最终用于新视角合成的表示。重要的是，两个阶段通过可微分渲染器相互连接，并以端到端的方式进行联合训练。实验结果表明，与未根据场景几何进行自适应的规则间距图层相比，所提出方法具有显著优势。尽管在渲染速度上比现有方法快数个数量级，该方法在性能上也优于近期提出的基于隐式几何表示的IBRNet系统。更多结果请参见：https://samsunglabs.github.io/StereoLayers。