[发明专利]基于自注意力机制的表单识别方法、装置及存储介质

权利要求书

1.一种基于自注意力机制的表单识别方法，其特征在于，所述方法包括：

获取待识别的表单图片，并对所述表单图片进行文本检测和文本识别，得到所述表单图片的文本位置信息和文本内容信息；

读取所述表单图片中各个像素的像素值，得到所述表单图片的图像素信息；

根据所述表单图片的图像素信息、文本位置信息和文本内容信息，通过预训练的表单数据处理模型，得到所述表单图片的结构化处理结果，其中，所述表单数据处理模型是通过基于自注意力机制的编码解码模型训练得到的；

对所述表单图片的结构化处理结果进行表单数据后处理，得到结构化的表单数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述表单图片进行文本检测和文本识别，得到所述表单图片的文本位置信息和文本内容信息，包括：

对所述表单图片进行文本检测，得到所述表单图片中的文本框；

对所述文本框进行文本识别，得到所述表单图片的文本位置信息和文本内容信息，其中，所述文本位置信息包括一维位置信息和二维位置信息。

3.根据权利要求1所述的方法，其特征在于，所述读取所述表单图片中各个像素的像素值，得到所述表单图片的图像素信息之前，所述方法还包括：

按照预设的图片分割规则，对所述表单图片进行分割，得到多个表单图片模块；

则所述读取所述表单图片中各个像素的像素值，得到所述表单图片的图像素信息，包括：

读取每个所述表单图片模块的各个像素的像素值，得到每个表单图片模块的图像素信息，其中，所述图像素信息中还包括每个表单图片模块的一维位置信息和二维位置信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述表单图片的图像素信息、文本位置信息和文本内容信息，通过预训练的表单数据处理模型，得到所述表单图片的结构化处理结果，包括：

对所述表单图片的图像素信息、文本位置信息和文本内容信息进行数据转换预处理，得到所述表单图片的特征向量组合；

通过所述表单数据处理模型中的自注意力机制，对所述表单图片的特征向量组合进行预处理，得到所述表单图片的融合特征向量；

根据所述融合特征向量，通过所述表单数据处理模型，得到所述表单图片的结构化处理结果，其中，所述表单图片的结构化处理结果包括所述表单图片的起始坐标判定信息、表单列名判定信息和至少两侧的文本位置信息。

5.根据权利要求4所述的方法，其特征在于，所述对所述表单图片的图像素信息、文本位置信息和文本内容信息进行数据转换预处理，得到所述表单图片的特征向量组合，包括：

对所述表单图片的图像素信息和文本内容信息进行分类编码，得到所述表单图片的分类编码信息；

分别对所述表单图片的图像素信息、文本位置信息、文本内容信息和分类编码信息进行数据转换，得到所述表单图片的图特征向量、文本位置特征向量、文本内容特征向量和分类编码特征向量；

对所述图特征向量、文本位置特征向量、文本内容特征向量和分类编码特征向量进行融合拼接，得到所述表单图片的特征向量组合。

6.根据权利要求1所述的方法，其特征在于，所述对表单数据结构化处理结果进行表单数据后处理，得到结构化的表单数据，包括：

根据所述表单图片的结构化处理结果，确定所述表单图片的起始坐标的文本内容信息、各个表单列名的文本内容信息和各个文本内容信息的至少两侧的文本位置信息；

根据所述起始坐标的文本内容信息和各个文本内容信息的至少两侧的文本位置信息，确定各个文本内容信息的坐标信息；

根据所述各个表单列名的文本内容信息和所述各个文本内容信息的坐标信息，生成结构化的表单数据。