[发明专利]一种基于蒸馏关系的抽取加速方法及装置

说明书

本发明公开了一种基于蒸馏关系抽取的加速方法及装置，该方法包括：训练基础模型T1；将基础模型T1设为教师模型，学生模型S1向教师模型T1输入学习参数；采用损失函数，计算所述学生模型S1对软标签和硬标签的损失，调整所述软标签和硬标签的权重，其中，教师模型T1的预测输出数据的标签为软标签，教师模型T1的真实数据的标签为硬标签。通过该方法及装置，将知识蒸馏引入关系抽取任务，提升了关系抽取训练速度，减小了模型大小，优化了关系抽取系统的性能，做了模型压缩和提速优化。

技术领域

本发明属于关系抽取技术领域，特别涉及一种基于蒸馏关系的抽取加速方法及装置。

背景技术

关系抽取是知识图谱构建和信息抽取中的一个关键环节，主要目的是从非结构化或半结构化的文本中自动抽取出实体对之间的语义关系。关系抽取具有重要的理论意义和广阔的应用前景，为多种应用提供重要的支持，包括大规模知识图谱的自动构建，对信息检索和问答系统提供支持等。随着近年来知识图谱、信息抽取需求的兴起，实体关系抽取问题进一步得到广泛关注和深入研究。

关系定义为两个或多个实体之间的某种联系。关系抽取的输出通常是一个三元组(实体1，关系，实体2)。例如，句子“北京是中国的首都、政治中心和文化中心”中表述的关系可以表示为(中国，首都，北京)，(中国，政治中心，北京)和(中国，文化中心，北京)。

知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的网络。蒸馏可以提供student学不到的软标签信息，这些里面包含了类别间信息，以及student小网络学不到而teacher网络可以学到的特征表示‘知识’，所以一般可以提高student网络的精度。

现有缺点：

由于关系抽取任务较难，因此模型往往较为复杂，导致训练耗时长，预测速度慢，占内存空间大。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于蒸馏关系的抽取加速方法及装置，能够克服现有技术的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于蒸馏关系抽取的加速方法，该方法包括：

训练基础模型T1；

将基础模型T1设为教师模型，学生模型S1向教师模型T1输入学习参数；

采用损失函数，计算所述学生模型S1对软标签和硬标签的损失，调整所述软标签和硬标签的权重，其中，教师模型T1的预测输出数据的标签为软标签，教师模型T1的真实数据的标签为硬标签。

进一步的，所述生模型S1向教师模型T1输入学习参数，包括：

使用学生模型S1学习教师模型T1的评定参数。

进一步的，所述调整所述软标签和硬标签的权重，包括：

在模型蒸馏过程中，调整所述软标签和硬标签的权重。

进一步的，所述调整所述软标签和硬标签的权重，包括：

设软标签权重为lambda，硬标签权重为1-lambda，学习过程中减小lambda，其中，lambda为正则化参数。

进一步的，所述损失函数为加权交叉熵损失函数。

另一方面，提出了一种基于蒸馏关系抽取的加速装置，该装置包括：

训练单元，用于训练基础模型T1；

输入单元，用于将基础模型T1设为教师模型，学生模型S1向教师模型T1输入学习参数；