[发明专利]文本语句中两实体的关系确定方法、装置和电子设备

权利要求书

1.一种文本语句中两实体的关系确定方法，其特征在于，包括：

确定待测文本语句和位置信息，所述位置信息是待测文本语句中需要确定实体关系的两实体在所述待测文本语句中的位置信息；

将所述待测文本语句和位置信息输入实体关系提取模型，输出与所述待测文本语句和位置信息对应的所述两实体的关系类型；

其中，所述实体关系提取模型是基于样本文本语句和位置信息以及预先确定的对应于样本文本语句和位置信息的两实体关系类型标签进行训练后得到的，所述实体关系提取模型训练时对样本文本语句和位置信息采用时间衰减注意力机制进行处理，所述样本文本语句和位置信息由标准人工标注库通过远程监督机制自动扩充；

其中，所述实体关系提取模型训练时对样本文本语句和位置信息采用时间衰减注意力机制进行处理，具体包括：

实体关系提取模型训练时，

对任一样本文本语句和位置信息进行预处理，得到对应于所述任一样本文本语句和位置信息的文本特征向量；

采用时间衰减注意力机制将任一训练轮次的多个文本特征向量合成为去噪文本特征向量；

基于所述去噪文本特征向量确定对应的预测两实体的关系类型；

基于所述预测两实体的关系类型和所述任一训练轮次的多个文本特征向量对应的任一样本文本语句和位置信息对应的两实体关系类型标签确定所述任一训练轮次的损失函数；

所述采用时间衰减注意力机制将任一训练轮次的多个文本特征向量合成为去噪文本特征向量，具体包括：

基于任一训练轮次的可训练权重矩阵、所述任一训练轮次的多个文本特征向量对应的任一样本文本语句和位置信息对应的两实体关系类型标签对应的类型向量和任一训练轮次的多个文本特征向量确定所述任一训练轮次的多个文本特征向量之间的权重；

基于所述任一训练轮次的当前迭代轮次和训练轮次的迭代轮次总次数确定所述任一训练轮次的剩余文本特征向量；

基于所述任一训练轮次的可训练权重矩阵、所述任一训练轮次的多个文本特征向量对应的任一样本文本语句和位置信息对应的两实体关系类型标签对应的类型向量和所述任一训练轮次的剩余文本特征向量确定所述任一训练轮次的剩余文本特征向量之间的权重，进而确定所述任一训练轮次的去噪文本特征向量；

所述基于任一训练轮次的可训练权重矩阵、所述任一训练轮次的多个文本特征向量对应的任一样本文本语句和位置信息对应的两实体关系类型标签对应的类型向量和任一训练轮次的多个文本特征向量确定所述任一训练轮次的多个文本特征向量之间的权重，具体包括：

通过如下公式确定任一训练轮次中的第i个文本特征向量S_i的权重a_i：

其中，i＝1,2,…,m，m为所述任一训练轮次中文本特征向量的总个数，W_A为所述任一训练轮次的可训练权重矩阵，r为所述任一训练轮次的多个文本特征向量对应的任一样本文本语句和位置信息对应的两实体关系类型标签对应的类型向量；

对应地，所述基于所述任一训练轮次的当前迭代轮次和训练轮次的迭代轮次总次数确定所述任一训练轮次的剩余文本特征向量，具体包括：

通过如下公式计算所述任一训练轮次的当前迭代轮次t的衰减比例ρ_t：

其中，T为训练轮次的迭代轮次总次数，ρ_min为预设衰减下限；

通过如下公式确定所述任一训练轮次的剩余文本特征向量的总个数m′：

其中，ρ_t为所述任一训练轮次的当前迭代轮次t的衰减比例，m为所述任一训练轮次中文本特征向量的总个数；

将任一训练轮次中的m个文本特征向量按照各自权重的大小由大到小依次排序得到序列，并提取所述序列中的前m′个文本特征向量作为所述任一训练轮次的剩余文本特征向量。

2.根据权利要求1所述的文本语句中两实体的关系确定方法，其特征在于，所述对任一样本文本语句和位置信息进行预处理，得到对应于所述任一样本文本语句和位置信息的文本特征向量，具体包括：

将任一样本文本语句输入BERT预训练模型，得到所述任一样本文本语句的特征向量；

将所述任一样本文本语句的特征向量和对应于所述任一样本文本语句的位置信息输入CNN模块，得到对应于所述任一样本文本语句和位置信息的文本特征向量。