[发明专利]自适应蛋白质预测框架的实现方法、装置及设备

权利要求书

1.一种自适应蛋白质预测框架的实现方法，其特征在于，包括以下步骤：

基于BERT式掩盖语言模型处理源数据，得到训练样本集，所述训练样本集包括所述源数据和与所述源数据对应的目标数据；

以所述源数据为输入，以所述目标数据为验证，对Transformer模型进行无监督预训练，得到教师模型；

固定所述教师模型的参数，对所述教师模型和学生模型进行协同训练，并仅优化所述学生模型的参数，以将所述教师模型的知识蒸馏到所述学生模型中，其中，在知识蒸馏过程中，利用搬土距离算法自适应地学习所述教师模型的中间隐藏层和所述学生模型的中间隐藏层之间多对多的映射关系；

利用经训练的所述学生模型进行不同的蛋白质预测任务预测，输出预测结果；

其中，所述源数据为n个氨基酸数据组成的序列X={x₁,x₂,…,x_n}，所述目标数据为被掩盖的k个氨基酸数据{x_Δ1,x_Δ2,…,x_Δk}，所述训练样本集为X’={ x₁,x₂,…,x_n/x_Δ1,x_Δ2,…,x_Δk };

所述Transformer模型包括依次连接的输入嵌入层、中间隐藏层和输出预测层，所述中间隐藏层由N个Transformer模块组成，每个所述Transformer模块均包括依次连接的多头注意力层、第一Dropout层、第一Add Norm层、前馈层、第二Dropout层以及第二Add Norm层；

所述以所述源数据为输入，以所述目标数据为验证，对Transformer模型进行无监督预训练，得到教师模型的步骤，包括：

将所述训练样本集输入所述Transformer模型的输入嵌入层；

通过所述Transformer模型的输入嵌入层对所述训练样本集进行嵌入处理；

将嵌入处理后的所述训练样本集输入所述Transformer模型的中间隐藏层；

通过所述Transformer模型的中间隐藏层学习嵌入处理后的所述训练样本集的特征表示；

通过所述Transformer模型的输出预测层输出学习到的所述特征表示；

其中，整个所述Transformer模型通过最大化对数似然来进行优化，如以下公式所示：；

其中，x_Δk表示第k个被掩盖的氨基酸数据；所述教师模型为经无监督预训练的所述Transformer模型。

2.根据权利要求1所述的方法，其特征在于，

所述基于BERT式掩盖语言模型处理源数据，得到训练样本集，所述训练样本集包括源数据和与所述源数据对应的目标数据的步骤，包括：

基于BERT式掩盖语言模型，执行掩盖策略，随机掩盖所述n个氨基酸数据中的k个氨基酸数据，其中，所述目标数据为被掩盖的k个氨基酸数据{x_Δ1,x_Δ2,…,x_Δk}，所述训练样本集为X’={x₁,x₂,…,x_n/x_Δ1,x_Δ2,…,x_Δk}，所述目标数据的联合概率分布为：。

3.根据权利要求2所述的方法，其特征在于，

所述掩盖策略包括：所述被掩盖的k个氨基酸数据占所述n个氨基酸数据中的30~40%氨基酸数据，其中，所述被掩盖的k个氨基酸数据中的80%被直接掩盖，所述被掩盖的k个氨基酸数据中的另10%被替换为其它蛋白，所述被掩盖的k个氨基酸数据中的其余10%保持不变。

4.根据权利要求1所述的方法，其特征在于，所述教师模型和所述学生模型均包括：依次连接的输入嵌入层、中间隐藏层和输出预测层，且所述教师模型相对于所述学生模型包含较多的中间隐藏层；

其中，整个知识蒸馏过程的知识蒸馏总损失为所述输入嵌入层的知识蒸馏损失、所述中间隐藏层的知识蒸馏损失以及所述输出预测层的知识蒸馏损失之和。