[发明专利]基于知识巩固的增量事件识别方法、系统、装置

权利要求书

1.一种基于知识巩固的增量事件识别方法，其特征在于，该方法包括以下步骤：

步骤S10，获取待识别事件的文本，作为输入文本；

步骤S20，通过预训练的语言模型提取所述输入文本中各单词的上下文特征，并通过多层感知器模型得到所述待识别事件的类别；

所述语言模型、所述多层感知器模型，训练方法为：

步骤A10，获取新类别的事件数据，并结合记忆单元中存储的旧类别的事件数据，构建训练样本集；所述事件数据包括事件的文本及事件的真实类别；

步骤A20，对训练样本集中的各事件，通过语言模型提取其文本中每个单词的上下文特征，并通过多层感知器模型得到其对应的预测类别；

步骤A30，基于训练样本集中各事件的真实类别、预测类别，通过交叉熵损失函数获取交叉熵损失值，作为第一损失值；

步骤A40，对训练样本集中旧类别的事件、新类别的事件，基于其文本中每个单词的上下文特征，通过预设的第一蒸馏损失函数获取基于特征的蒸馏损失值，作为第二损失值；并基于其预测类别对应的概率分布，通过预设的第二蒸馏损失函数得到基于预测的蒸馏损失值，作为第三损失值；

步骤A50，将所述第一损失值、所述第二损失值、所述第三损失值加权求和后，更新所述语言模型、所述多层感知器模型的网络参数；

步骤A60，计算所述记忆单元各旧类别中待删除事件的数量，按照该数量删除各旧类别中距离类别中心较远的事件；

步骤A70，计算新类别的类别中心，将距离该类别中心较近的新类别的事件保留，并增入所述记忆单元；

步骤A80，循环执行步骤A10-A70，直至得到训练好的语言模型、多层感知器模型。

2.根据权利要求1所述的基于知识巩固的增量事件识别方法，其特征在于，所述交叉熵损失值，其获取方法为：

其中，表示交叉熵损失值，表示训练样本集中事件的数量，、分别表示训练样本集中各事件的真实类别、预测类别，、分别表示事件的文本、文本中的单词。

3.根据权利要求2所述的基于知识巩固的增量事件识别方法，其特征在于，所述基于特征的蒸馏损失值，其获取方法为：

其中，表示基于特征的蒸馏损失值，、分别表示训练样本集中旧类别、新类别事件文本中每个单词的上下文特征。

4.根据权利要求3所述的基于知识巩固的增量事件识别方法，其特征在于，所述基于预测的蒸馏损失值，其获取方法为：

其中，表示基于预测的蒸馏损失值，表示记忆单元中旧类别的数量，、分别为上一轮迭代训练过程中多层感知器模型的logit表示、当前轮迭代训练过程中多层感知器模型的logit表示，表示温度标量，表示下标。

5.根据权利要求4所述的基于知识巩固的增量事件识别方法，其特征在于，步骤A60中“计算所述记忆单元各旧类别中待删除事件的数量”，其方法为：

其中，表示记忆单元存储空间的大小，表示新类别的数量，表示记忆单元各旧类别中待删除事件的数量。

6.根据权利要求1中所述的基于知识巩固的增量事件识别方法，其特征在于，步骤A70中“计算新类别的类别中心”，其方法为：

其中，表示新类别的类别中心，表示属于类别的事件的数目，表示新类别的事件的真实类别。