基于文本的人脸搜索（TBPS）旨在通过描述性文本查询从图像库中检索目标人物。解决这种细粒度跨模态检索任务具有挑战性，而大规模数据集的缺乏进一步加剧了这一问题。在本文中，我们提出了一种包含两个创新组件的框架，以应对有限数据带来的问题。首先，为了充分利用现有的小规模基准数据集进行更具区分性的特征学习，我们引入了一种跨模态动量对比学习框架，以丰富给定小批量训练数据。其次，我们提出将现有粗粒度大规模数据集中包含的图像-文本对的知识迁移到TBPS任务中，这些数据集的问题域与TBPS差异显著，以此来弥补TBPS训练数据的不足。为此设计了一种迁移学习方法，即使存在较大的领域差距也能有效传递有用信息。借助这些组件，我们的方法在CUHK-PEDES数据集上取得了新的最佳性能，在Rank-1和mAP指标上相比先前的研究有了显著提升。我们的代码已发布在 https://github.com/BrandonHanx/TextReID。