几何问题求解（GPS）是一种高层次的数学推理，需要多模态融合和几何知识应用的能力。近期，神经求解器在GPS领域展现出巨大潜力，但在图形表示和模态融合方面仍存在不足。在这项工作中，我们将图形转换为基本的文本子句，以有效描述图形特征，并提出了一种新的神经求解器——PGPSNet，用于高效融合多模态信息。通过结合结构预训练和语义预训练、数据增强以及自限制解码，PGPSNet具备丰富的几何定理和几何表示知识，从而促进了几何理解和推理能力。此外，为了推动GPS领域的研究，我们构建了一个新的大规模且精细标注的GPS数据集，命名为PGPS9K，该数据集同时包含细粒度的图形标注和可解释的解决方案程序。在PGPS9K和现有数据集Geometry3K上的实验验证了我们的方法优于当前最先进的神经求解器。我们的代码、数据集及附录材料可在以下网址获取：\url{https://github.com/mingliangzhang2018/PGPS}。