[发明专利]自适应蛋白质预测框架的实现方法、装置及设备

说明书

本申请公开了一种自适应蛋白质预测框架的实现方法、装置及设备，该方法包括：基于BERT式掩盖语言模型处理源数据，得到训练样本集；对Transformer模型进行无监督预训练，得到教师模型；固定教师模型的参数，对教师模型和学生模型进行协同训练，并仅优化学生模型的参数，以将教师模型的知识蒸馏到学生模型中，在知识蒸馏过程中，利用搬土距离算法自适应地学习预训练教师模型的中间隐藏层和学生模型的中间隐藏层之间多对多的映射关系；利用经训练的学生模型进行不同的蛋白质预测任务预测，输出预测结果。通过上述方式，能够显著中间缓解模型庞大带来的计算资源不足以及训练、推断时间过长的问题。

技术领域

本申请涉及计算机技术领域，特别是涉及一种自适应蛋白质预测框架的实现方法、装置及设备。

背景技术

蛋白质预测是近几年来发展十分繁荣的领域，因其广阔的应用场景以及巨大的商业价值而备受瞩目，蛋白质是由氨基酸数据以“脱水缩合”的方式组成的多肽链经过盘曲折叠形成的具有一定空间结构的物质，其基本结构为氨基酸数据序列，通过对氨基酸数据序列进行表征学习，可以应用于一系列蛋白质预测任务，如二级结构预测、接触预测、远程同源性检测、荧光度检测以及稳定性预测等，具有十分重要的现实意义。

发明内容

本申请主要解决的技术问题是提供一种自适应蛋白质预测框架的实现方法、装置及设备，能够显著中间缓解模型庞大带来的计算资源不足以及训练、推断时间过长的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种自适应蛋白质预测框架的实现方法，包括以下步骤：基于BERT式掩盖语言模型处理源数据，得到训练样本集，训练样本集包括源数据和与源数据对应的目标数据；以源数据为输入，以目标数据为验证，对Transformer模型进行无监督预训练，得到教师模型；固定教师模型的参数，对教师模型和学生模型进行协同训练，并仅优化学生模型的参数，以将教师模型的知识蒸馏到学生模型中，其中，在知识蒸馏过程中，利用搬土距离算法自适应地学习预训练教师模型的中间隐藏层和学生模型的中间隐藏层之间多对多的映射关系；利用经训练的学生模型进行不同的蛋白质预测任务预测，输出预测结果。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种存储装置，其上存储有程序，其中，该程序被处理器执行时实现根据前述方法的步骤。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种电子设备，包括存储器和处理器，在存储器上存储有能够在处理器上运行的程序，处理器执行程序时实现前述方法的步骤。

与现有技术相比，本申请的优点在于，所提供的自适应蛋白质预测框架的实现方法，将一个大模型(教师模型)的知识很好地蒸馏到小模型(学生模型)当中，并且中间隐藏层的蒸馏过程中利用搬土距离算法来较好地衡量出教师模型和学生模型之间的差异，自适应地完成中间隐藏层之间多对多的映射，从而能够显著中间缓解模型庞大带来的计算资源不足以及训练、推断时间过长的问题。

附图说明

图1是本申请自适应蛋白质预测框架的实现方法一实施例的流程图；

图2是图1中步骤S20的流程图；

图3是本申请电子设备的结构示意图。

具体实施方式

蛋白质预测是近几年来发展十分繁荣的领域，因其广阔的应用场景以及巨大的商业价值而备受瞩目，蛋白质是由氨基酸数据以“脱水缩合”的方式组成的多肽链经过盘曲折叠形成的具有一定空间结构的物质，其基本结构为氨基酸数据序列，通过对氨基酸数据序列进行表征学习，可以应用于一系列蛋白质预测任务，如二级结构预测、接触预测、远程同源性检测、荧光度检测以及稳定性预测等，具有十分重要的现实意义。