摘要

近期生物研究领域的进展通过整合分子、蛋白质和自然语言来增强药物发现。然而，当前的模型存在若干局限性，例如生成无效的分子SMILES（简化分子线性输入系统）、未能充分利用上下文信息以及对结构化和非结构化知识同等对待。为了解决这些问题，我们提出了$\mathbf{BioT5}$，这是一种全面的预训练框架，旨在通过化学知识和自然语言关联丰富生物学中的跨模态整合。$\mathbf{BioT5}$利用SELFIES（自编码式分子表示）实现100%稳健的分子表示，并从非结构化生物文献中提取生物实体周围的上下文知识。此外，$\mathbf{BioT5}$区分了结构化和非结构化知识，从而更有效地利用信息。经过微调后，BioT5在多种任务中表现出色，展示了其强大的捕捉生物实体潜在关系和属性的能力。我们的代码可在$\href{https://github.com/QizhiPei/BioT5}{GitHub}$上获取。