[发明专利]实体识别方法、装置及计算机程序产品

权利要求书

1.一种实体识别方法，包括：

识别待识别图像，以确定对于所述待识别图像中的实体的初步识别结果；

响应于确定所述初步识别结果中包括同类别的多个实体，确定所述待识别图像的图像特征和所述多个实体的文本特征；

结合所述图像特征和所述文本特征，确定所述多个实体是否为连续的完整实体，得到完整实体确定结果；

结合所述初步识别结果和所述完整实体确定结果，得到最终识别结果。

2.根据权利要求1所述的方法，其中，所述确定所述待识别图像的图像特征和所述多个实体的文本特征，包括：

通过预训练的特征提取模型得到所述待识别图像的整体图像特征和所述待识别图像中对应于所述多个实体的区域图像的区域图像特征；

确定标记序列中的每个标记对应的位置嵌入特征、片段嵌入特征和标记嵌入特征，其中，所述标记序列中包括所述多个实体中的每个预设粒度文本对应的文本标记和所述待识别图像中对应于所述多个实体的区域图像对应的图像标记，位置嵌入特征用于表征标记的位置信息，片段嵌入特征用于表征标记的片段信息，标记嵌入特征用于表征标记对应的预设粒度文本的嵌入信息。

3.根据权利要求2所述的方法，其中，所述结合所述图像特征和所述文本特征，确定所述多个实体是否为连续的完整实体，得到完整实体确定结果，包括：

对于所述标记序列中的每个文本标记，结合该标记对应的整体图像特征、位置嵌入特征、片段嵌入特征和标记嵌入特征，和/或，对于所述标记序列中的每个图像标记，结合该标记对应的区域图像特征、位置嵌入特征、片段嵌入特征和标记嵌入特征，得到结合后特征；

将所述结合后特征输入预训练的完整实体确定模型，确定所述多个实体是否为连续的完整实体，得到所述完整实体确定结果，其中，所述完整实体确定模型用于确定所述结合后特征所表征的多个实体是否为连续的完整实体。

4.根据权利要求1-3中任一项所述的方法，其中，所述结合所述初步识别结果和所述完整实体确定结果，得到最终识别结果，包括：

在所述初步识别结果的基础上，响应于确定所述完整实体确定结果表征所述多个实体为连续的完整实体，拼接所述多个实体，得到所述最终识别结果。

5.根据权利要求1-3中任一项所述的方法，其中，所述识别待识别图像，以确定对于所述待识别图像中的实体的初步识别结果，包括：

识别所述待识别图像，得到文本信息；

通过预训练的全局指针模型提取所述文本信息中的实体，得到所述初步识别结果，其中，所述全局指针模型用于提取所述文本信息中的实体。

6.根据权利要求3所述的方法，其中，所述完整实体确定模型通过如下方式训练得到：

获取训练样本集，其中，所述训练样本集中的训练样本包括多个分裂实体和表征多个分裂实体属于同一完整实体的关系标签；

利用机器学习方法，以训练样本中的多个分裂实体为输入，以所输入的训练样本中的关系标签为期望输出，训练得到所述完整实体确定模型。

7.一种实体识别装置，包括：

识别单元，被配置成识别待识别图像，以确定对于所述待识别图像中的实体的初步识别结果；

第一确定单元，被配置成响应于确定所述初步识别结果中包括同类别的多个实体，确定所述待识别图像的图像特征和所述多个实体的文本特征；

第二确定单元，被配置成结合所述图像特征和所述文本特征，确定所述多个实体是否为连续的完整实体，得到完整实体确定结果；

得到单元，被配置成结合所述初步识别结果和所述完整实体确定结果，得到最终识别结果。