三维目标检测在仅以点云作为输入的情况下已取得显著进展。然而，点云通常存在几何结构不完整以及缺乏语义信息的问题，导致检测器难以准确分类检测到的物体。针对这一挑战，本文聚焦于如何有效利用图像中的物体级信息，以提升基于点云的三维检测器性能。为此，我们提出了一种名为DeMF的简单而高效的方法，用于将图像信息融合至点特征中。给定点特征与图像特征图，DeMF通过以三维点在二维图像中的投影位置作为参考，自适应地聚合图像特征。我们在具有挑战性的SUN RGB-D数据集上对所提方法进行了评估，实验结果显著优于现有最先进方法，mAP@0.25提升2.1个百分点，mAP@0.5提升2.3个百分点。代码已开源，地址为：https://github.com/haoy945/DeMF。