一句话总结

TriSplat 是一种前馈式 3D 重建网络，它将高斯图元替换为定向三角形图元，通过图像条件头构建稳定的几何法线，并在单次前向传播中直接导出适用于仿真的网格，从而在 RealEstate10K 和 DL3DV 数据集上实现几何保真重建，且无需昂贵的后处理步骤。

核心贡献

• TriSplat 是一种前馈网络，它将高斯图元替换为定向三角形表示，从而在单次前向传播中从稀疏无位姿图像联合预测局部几何、外观和相机位姿。这种原生的三角形格式可直接导出纹理网格，消除了现有方法所需的有损后处理提取步骤。
• 该方法采用法线锚定三角形构建管线，从预测的点图推导表面朝向，利用图像条件头细化法线，并通过单法线自举和有效性感知掩码稳定训练过程。将三角形朝向锚定到显式局部几何而非无约束潜在变量，提升了表面保真度和渲染稳定性。
• 在 RealEstate10K 和 DL3DV 上的评估表明，与基于高斯的前馈基线相比，三角形原生表示能够生成几何保真重建结果并具备更优的表面精度，同时保持具有竞争力的新视角渲染质量。在 ScanNet 上的零样本测试证实了其跨数据集泛化能力，验证了该方法可作为面向下游物理和渲染管线的即插即用仿真就绪方案。

引言

从稀疏图像重建 3D 场景对机器人技术和具身智能至关重要，其下游任务（如物理仿真和碰撞检测）需要显式的表面网格，以便与 Unity 或 Isaac Sim 等引擎无缝集成。尽管近期前馈模型通过直接从图像预测高斯图元来加速重建，但这些表示仅隐式地捕捉表面，迫使用户依赖昂贵的后处理网格提取步骤，从而削弱了初始预测的效率。本文作者提出 TriSplat，这是一种前馈网络，使用定向三角形图元表示场景，从而在单次前向传播中交付适用于仿真的网格。通过联合预测几何、外观和相机位姿，并将三角形朝向锚定到经图像细化的表面法线上，TriSplat 消除了中间转换的需求，并生成几何保真的输出结果，物理引擎可直接调用。

数据集

• 数据集构成与来源： 作者完全在 Unity 和 NVIDIA Isaac Sim 环境中生成合成评估数据。不依赖真实世界采集，而是直接从模型导出的三角形网格构建按时间顺序排列的四帧动态序列。
• 子集详情： 合成序列被划分为三个仿真类别：机器人抓取、球体动力学和多平台运动。每个子集均从导出网格中自动派生，无需人工清理或格式转换。
• 数据使用与处理： 这些序列用于驱动基于物理的验证。作者使用两条不同的管线提取底层网格。TSDF 融合方法采用 0.005 体素尺寸、0.1 SDF 截断值和 5.0 深度截断值，同时屏蔽渲染透明度低于 0.3 的像素，并仅保留包含至少 50 个三角形的 50 个最大连通分量。直接导出方法在 5.0 温度缩放后剪除透明度低于 0.10 的三角形，使用 10^-5 精度的量化位置哈希去重顶点，并根据零阶球谐函数计算每个三角形的颜色。
• 朝向与坐标系构建： 三角形朝向锚定于预测的 3D 几何以防止硬边伪影。原始法线通过密集点图上的有限差分计算得出，经平均池化平滑后，由零初始化的 U-Net 进行校正，该网络接收外观、深度和有效性掩码作为输入。早期训练稳定性依赖于单法线自举机制，该机制使用余弦衰减调度表从预训练的单目估计器逐步过渡到模型自身的预测。最终法线被转换为正切坐标系以驱动三角形渲染。

方法

作者利用前馈架构，在单次前向传播中从稀疏无位姿图像重建场景，直接输出构成网格的定向三角形图元，无需后处理。该框架以基于 DINOv2 主干的编码器开始，增强 2D 旋转位置嵌入和逐像素内参信息，以支持无位姿重建。该主干网络连接至自定义 Transformer 解码器，解码器在视图内自注意力与跨视图联合注意力之间交替，实现局部空间推理与多视图对应关系聚合。解码器生成特征 tokens，由三个并行头处理：点头、相机头和图元头。

点头为每个输入视图预测密集局部 3D 点图 $\mathbf{P} \in \mathbb{R}^{H \times W \times 3}$P∈RH×W×3。对于每个像素，它输出三个无约束标量 $(u, v, z')$(u,v,z′)，其中深度恢复为 $z = \exp(z')$z=exp(z′) 以确保严格为正，3D 点计算为 $\mathbf{p} = z \cdot (u, v, 1)^\top$p=z⋅(u,v,1)⊤。该参数化将横向位置与深度耦合，模拟射影图像形成模型。相机头通过对解码器 tokens 进行平均池化回归每个视图的 SE(3) 相机到世界位姿，并通过 SVD 正交化将 $3 \times 3$3×3 矩阵投影到 SO(3)，所有位姿均相对于第一个视图表示。图元头预测逐像素三角形属性，包括密度对数几率、三个缩放对数几率、四元数、球谐外观系数和模糊参数。为了直接访问外观信息，输入 RGB 图像在解码前进行分块嵌入并加性融合到特征中。所有密集头均采用像素重排上采样以达到完整空间分辨率。

预测的点图和相机位姿定义了世界空间中的三角形中心 $\mathbf{c}$c。每个三角形从规范等边模板 $\mathcal{T} \in \mathbb{R}^{3 \times 3}$T∈R3×3 实例化。三个原始缩放对数几率通过 Sigmoid 映射到有界区间，并使用预测深度和由内参推导的像素足迹转换为世界空间尺寸。设 $\mathbf{s}$s 表示所得缩放向量，$\mathbf{R}_n$Rn​ 表示沿局部表面定向三角形的切线坐标系旋转，$\mathbf{R}_c$Rc​ 表示相机到世界旋转。第 $k$k 个顶点计算为 $\mathbf{v}_k = \mathbf{R}_c \, \mathbf{R}_n \big( \mathcal{T}_k \odot \mathbf{s} \big) + \mathbf{c}$vk​=Rc​Rn​(Tk​⊙s)+c，其中 $\odot$⊙ 表示逐元素乘法。所得定向三角形由可微三角形光栅化器通过基于瓦片的排序和从前到后的 Alpha 合成进行渲染，生成 RGB 图像、深度图和表面法线。

点图具有双重作用：它们定义三角形中心并提供推导三角形朝向的几何基础。这通过几何锚定法线细化过程实现。框架从点图预测原始几何法线，随后通过轻量级 U-Net 进行细化，该网络以原始几何法线、平滑几何法线、下采样 RGB 图像、预测深度和有效性掩码作为输入。细化头输出残差校正量，将其应用于原始法线以生成细化法线。这些细化法线用于计算切线坐标系旋转 $\mathbf{R}_n$Rn​，从而将三角形沿局部表面定向。在基于几何的旋转有效的像素处，网络预测的四元数被几何派生四元数覆盖；在无效像素处，保留网络四元数作为备用。这种几何锚定朝向确保三角形与场景表面几何正确对齐。

实验

该评估在 RE10K、DL3DV 和 ScanNet 上通过受控消融实验和跨数据集零样本测试，从表面几何、新视角渲染、深度与法线精度以及运行时效率等方面对 TriSplat 进行评估。实验验证了其几何锚定法线管线和渐进训练调度表能够产生平滑且一致的表面朝向，同时每个架构组件均成功缓解了特定的重建失败模式。原生三角形表示证实了其效率与仿真就绪特性，该表示消除了昂贵的后处理网格提取，并支持直接集成到标准物理引擎中以进行鲁棒的碰撞检测、运动控制和交互任务。最终，结果证明 TriSplat 在网格导出过程中始终保持渲染保真度，为传统基于高斯的方法提供了一种结构高效且适用于仿真的替代方案。

作者对 TriSplat 中的三角形缩放范围进行消融研究，评估其对表面几何和网格渲染质量的影响。结果表明，缩放范围的变化会影响 Chamfer Distance 和 F1 分数，不同组合在几何保真度与渲染质量之间产生不同的权衡。指标显示，最佳范围在覆盖范围和伪影控制之间取得平衡。改变三角形缩放范围会影响表面几何和渲染质量指标。较小的最小缩放配合较大的最大缩放可提升 F1 分数，但会增加 LPIPS。如一致的 CD 和 PSNR 趋势所示，最佳缩放范围在几何保真度与渲染质量之间实现了平衡。

作者在不同输入视图数量下，将 TriSplat 的推理时间与多种基线方法进行了比较。结果表明，TriSplat 的推理时间显著快于所有其他方法，特别是在输入设置较小时，其推理时间保持在一秒以内。相比之下，基于高斯的基线和体素方法表现出显著更长的推理时间，且随输入视图数量增加而扩展。TriSplat 的推理时间远低于一秒，在输入设置较小时显著快于所有其他方法。基于高斯的基线和体素方法显示出长得多的推理时间，且随输入视图数量增加而上升。TriSplat 的端到端效率归功于其三角形原生表示，消除了对后处理网格提取的需求。

作者从深度和法线精度方面评估 TriSplat，证明其在两项指标上均优于所有对比方法。结果表明，TriSplat 实现了最低的深度误差和最佳法线一致性，具有最低的平均角度误差和最高的 30 度以下精度。性能提升归功于几何锚定法线管线以及优先考虑朝向质量的引导调度表。TriSplat 实现了所有方法中最低的相对误差和差值误差，达到最佳深度精度。TriSplat 生成最准确的法线，具有最低的平均角度误差和最高的 30 度以下精度。优越的法线质量归功于几何锚定法线管线以及强调朝向一致性的引导调度表。

作者评估了透明度温度调度对 TriSplat 性能的影响，分析其对几何和渲染质量的作用。结果表明，固定低温导致梯度覆盖不足和次优性能，而固定高温则产生柔软的表面。默认调度表在 16K 步内将温度从 1.0 提升至 5.0，在两端极端情况之间取得了最佳平衡，提升了几何与渲染指标。固定的低透明度温度导致所有指标性能最差。固定的高透明度温度即使几何表现更好，也会降低渲染质量。从 1.0 到 5.0 的默认温度调度表实现了最佳权衡，同时提升了几何与渲染质量。

作者在不同输入视图数量下评估 TriSplat 的表面几何与网格渲染质量，并将其与多种基线方法进行比较。结果表明，TriSplat 在表面几何指标上取得最佳性能，并在网格渲染质量上持续超越所有基线，尤其是在输入视图数量增加时更为明显。该方法在不同视图数量下保持强劲且稳定的性能，精确率和召回率指标的改进在较高视图数量下更为显著。与基线方法相比，TriSplat 在所有视图数量下均取得最佳表面几何指标。TriSplat 在网格渲染质量上持续超越所有基线，且改进在较高输入视图数量下更为突出。随着输入视图数量增加，TriSplat 与基线之间的性能差距扩大，表明所提方法具有更好的可扩展性。

该评估包含消融研究，验证三角形缩放范围和透明度温度调度的影响，同时结合对比评估，测量不同输入视图数量下的推理效率、几何精度和可扩展性。定性而言，研究结果表明优化的超参数范围成功调和了表面保真度与渲染质量，而三角形原生表示绕过了昂贵的后处理，实现了比竞争方法快得多的推理速度。此外，几何锚定法线管线与专用调度策略持续产生更优的深度与朝向精度，且随着输入数据增加，性能优势愈发显著。综上所述，这些结果确立了 TriSplat 作为一个高效且可扩展的框架，在几何精度和视觉重建方面均可靠地超越现有基线。