蛋白质含有未知的氨基酸残基，提取它们用于合成药物肽可以创造具有独特性质的新结构，从而推动药物开发。新型多肽药物分子的计算机辅助设计可以解决传统药物发现过程中成本高、效率低的问题。
通过生成式的深度学习模型，利用氨基酸残基进行多肽生成，解决了氨基酸序列的精确控制、特性修饰的定制化多肽以及大规模多肽合成等关键问题。然而，以往的研究由于缺乏对氨基酸结构连接关系的重视，在提高多肽药物的生物活性和药物相似性方面存在局限性。
2024年9月10日，团队刘昊老师在Briefings in Bioinformatics上发表文章Reinforcement learning-driven exploration of peptide space: accelerating generation of drug-like peptides。
作者提出了一种基于图注意力机制的强化学习驱动的多肽生成模型，称为RLP（Reinforcement Learning for Peptides）。通过利用图注意力机制的优势，该模型有效地捕获了肽中氨基酸残基之间的连接结构。同时，利用强化学习在指导最优序列搜索方面的优势，为肽设计和优化提供了一种新的方法。该模型引入了具有实时反馈回路的演员-评论家（actor-critic，A2C）框架，实现属性之间的动态平衡，可以针对特定靶标定制生成多肽。实验结果表明，RLP在一系列任务中超越了现有方法。
如图所示，本文提出了一种基于图注意机制的强化学习驱动多肽生成模型。首先，该模型利用图注意机制进行特征提取，有效捕获多肽中氨基酸残基之间的连通性。随后，将多维特征向量输入到基于A2C的强化学习生成框架中，整合生物活性和ADMET特性优化作为奖励机制，指导最优肽序列的生成。
图 RLP结构图
图注意力网络由两个并行组件组成：图注意力机制（GAT）和门控循环单元（GRU）。GAT负责构建一个以氨基酸残基为节点，它们之间的关系为边的图。在这个图结构中，GAT在提取关系特征方面表现出了出色的能力，成功地捕获了肽中氨基酸残基之间的连通性。另一方面，GRU擅长提取序列中的依赖关系，得到多维特征。将GAT和GRU获得的特征向量连接起来，得到编码氨基酸残基的多维特征向量。
作者采用自定义特征编码方法，将氨基酸残基的理化性质直接编码到GAT的节点特征中。这包括使用诸如疏水性指数、电荷状态和分子量等参数作为输入特征，使模型在处理节点时能够考虑这些关键的生化信息。此外，对于注意力机制本身，作者修改了注意分数的计算，以整合这些生化特性。具体来说，作者采用了一种基于残基对相互作用强度预测的多头注意力机制，每个头部关注一种特定类型的物理化学相互作用（如疏水相互作用、氢键能力等），并对这些相互作用的影响进行加权。此外，作者调整了网络的超参数，如注意力层的数量、每层头的数量和学习率，以优化模型学习肽结构中复杂相互作用模式的能力。通过微调这些参数，作者提高了模型对特定生化环境的适应性，从而提高了预测精度和模型的可解释性。
GAT模型通过加权和聚合相邻节点的特征来获取信息。其注意力机制同时考虑相邻节点和中心节点的特征，计算每个相邻节点的重要性。多重注意头的应用使GAT能够捕获氨基酸残基之间的各种关系，而多层堆叠有助于学习这些残基之间更复杂的分层关系。
将图关注网络生成的氨基酸残基多维特征向量输入到基于A2C的强化学习生成框架中。在该框架中，行动者网络使用基于梯度的优化技术不断更新其策略，以优先考虑具有更高价值的行为。同时，该奖励机制整合了生物活性和ADMET特性优化，旨在指导最佳肽序列的生成。
A2C架构中的演员网络采用基于梯度的优化技术来不断更新策略参数。该过程的主要目标是调整策略，以优先考虑具有更高价值的行动，本质上确定替换哪些氨基酸残基片段以最大化预期的长期回报。通过迭代更新策略参数，演员网络逐渐学会在多肽设计中制定考虑与期望药物性质相关的长期奖励的策略，在探索和开发之间取得平衡。
在这个过程中，基于时间差（TD）误差的评论家网络对于估计当前状态的预期长期回报十分重要。为了保证肽序列生成的高质量，作者在评论家网络的强化学习奖励机制中增加了ADMET性质评估和分子对接，后者用于引入生物活性约束。ADMET对肽分子的评估包括基于计算机的物理化学、药代动力学、吸收、分布、代谢、排泄和毒性特性的预测。这些预测方法依赖于基于属性相关靶点的化学相似性和生物活性预测模型。所有ADMET相关参数的取值范围主要基于现有已发表药物的统计分布结果建立，并通过数据库的自我训练进一步细化。
为了评估化合物分子的ADMET特性，作者使用生物信息学工具ADMETLab 2.0进行预测。同时，从DrugBank数据库中提取公开可用的药物分子数据，并使用ADMETLab 2.0计算这些药物分子的关键ADMET性质。此外，根据这些药物分子的性质值绘制密度直方图，并统计确定每种性质的最佳范围值，以评估生成的分子的ADMET性质。在生物活性预测方面，使用化学信息学工具Ledock，综合考虑结合能和配体效率来评估生成的化合物分子的活性。最后，将统计结果得出的ADMET各特性的生物活性阈值和最佳范围纳入奖励机制，在分子生成过程中引导优化这些最佳范围，以生产出具有最佳特性的分子。
在成功生成分子的过程中，生物活性和ADMET性质都发挥着同等重要的作用。在此基础上，作者通过结合领域专家的建议和文献中报道的这些特性在药物开发中的重要性排名，初步分配了ADMET特性的权重。例如，较高的初始权重分配给吸收和毒性等关键特性，而较低的初始权重分配给不那么关键的特性。为了保证最优的模型性能，作者进行了多次迭代实验，比较了模型在不同权重组合下的性能。最终，确定了最佳权重分配如下：吸收A=25%，分布D=20%，代谢M=20%，排泄E=15%，毒性T=20%。关键是平衡各种性质，以确保药物具有良好的生物利用度，适当的组织分布，合理的代谢和排泄途径，以及最小的毒性。
通过在奖励函数中整合ADMET特性和与目标蛋白的对接分数，A2C强化学习算法可以同时优化多肽设计中的类药物特性和生物活性。该方法通过迭代更新A2C网络，有效地在肽序列和构象空间中导航，充分考虑与ADMET性质和靶标结合亲和力相关的长期奖励，从而确保药物性质的全面优化。