[发明专利]样本处理方法、装置、计算机可读介质及电子设备

权利要求书

1.一种应用于图像区域规划模型训练的样本处理方法，其特征在于，所述图像区域规划模型用于规划出图像中包含结构化信息的区域，所述方法包括：

识别样本图像中各文本框，并根据所述各文本框确定所述样本图像对应的图像特征、语义特征以及预设特征；

将所述样本图像对应的图像特征、语义特征以及预设特征进行融合，得到所述样本图像的综合特征；

根据所述各文本框在所述样本图像中的位置确定用于表征所述各文本框之间位置关系的文本框参数，并基于所述样本图像的综合特征和所述文本框参数确定每两个文本框之间的关系矩阵；

根据所述各文本框的预设标签、所述样本图像的综合特征和每两个文本框之间的关系矩阵训练所述图像区域规划模型；

其中，根据所述各文本框确定所述样本图像对应的预设特征，包括：

对所述各文本框进行包含关系判定，得到每个文本框对应的多个判定结果；

根据每个文本框对应的多个判定结果构建所述样本图像的预设特征；

其中，所述包含关系判定包括以下至少一种：判定对应的文本框与特定词语的包含关系、判定对应的文本框与特定字符的包含关系、判定对应的文本框与特定数字的包含关系；

其中，根据所述各文本框的预设标签、所述样本图像的综合特征和每两个文本框之间的关系矩阵训练所述图像区域规划模型，包括：

触发所述图像区域规划模型根据所述样本图像的综合特征和每两个文本框之间的关系矩阵预测所述各文本框的标签，得到预测结果，根据所述预测结果与所述各文本框的预设标签计算损失函数，根据所述损失函数优化权重参数直到所述损失函数收敛。

2.根据权利要求1所述的方法，其特征在于，根据所述各文本框的预设标签、所述样本图像的综合特征和每两个文本框之间的关系矩阵训练所述图像区域规划模型之后，所述方法还包括：

根据训练后的图像区域规划模型对接收到的待处理图像进行区域划分，得到区域规划结果；

根据所述区域规划结果提取所述待处理图像中各区域的文本信息；其中，所述文本信息包括字段和字段内容中至少一种；

根据所述文本信息生成所述待处理图像对应的结构化信息。

3.根据权利要求1所述的方法，其特征在于，根据所述各文本框确定所述样本图像对应的图像特征，包括：

通过所述图像区域规划模型中的图像特征提取网络提取所述各文本框分别对应的子图像特征；

根据所述子图像特征构建所述样本图像对应的图像特征。

4.根据权利要求1所述的方法，其特征在于，根据所述各文本框确定所述样本图像对应的语义特征，包括：

确定所述各文本框在所述样本图像中的位置信息；

将所述位置信息输入所述图像区域规划模型中的语义特征提取网络，以使得所述语义特征提取网络根据所述位置信息提取所述各文本框分别对应的子语义特征；

根据所述子语义特征构建所述样本图像对应的语义特征。

5.根据权利要求1所述的方法，其特征在于，根据所述各文本框在所述样本图像中的位置确定用于表征所述各文本框之间位置关系的文本框参数，包括：

确定所述各文本框相对于所述样本图像的中心点位置；

根据所述各文本框的中心点位置确定所述各文本框之间的水平距离和垂直距离；

将所述各文本框之间的水平距离和垂直距离确定为所述文本框参数。