[发明专利]错别字检测方法、装置、设备及存储介质

权利要求书

1.一种错别字检测方法，其特征在于，包括：

获取包含文本的待检测图片；

确定所述待检测图片中文本所处的文本块图片，以及文本块图片中包含的识别文本；

提取所述文本块图片的图像视觉特征，以及，提取所述识别文本的文字模态特征；

将所述图像视觉特征及所述文字模态特征进行融合，得到融合特征；

基于融合特征确定文本块图片中包含的真实文本；

对比所述真实文本和所述识别文本，得到待检测图片中的错别字检测结果。

2.根据权利要求1所述的方法，其特征在于，所述图像视觉特征和所述文字模态特征分别为向量形式；

将所述图像视觉特征及所述文字模态特征进行融合，得到融合特征的过程，包括：

采用门控融合方式，将向量形式的图像视觉特征及文字模态特征进行融合，得到融合特征。

3.根据权利要求2所述的方法，其特征在于，在采用门控融合方式，将向量形式的图像视觉特征及文字模态特征进行融合之后，还包括：

将融合特征与所述文字模态特征相加，得到残差融合特征，作为最终的融合特征。

4.根据权利要求2所述的方法，其特征在于，在采用门控融合方式，将向量形式的图像视觉特征及文字模态特征进行融合之前，还包括：

对所述图像视觉特征进行表示偏移及非线性变换，得到处理后图像视觉特征。

5.根据权利要求1所述的方法，其特征在于，提取所述图像视觉特征及文字模态特征并对二者进行融合，基于融合特征确定文本块图片中包含的真实文本的过程，通过预训练的图片文本识别模型处理得到；

所述图片文本识别模型被配置为，提取文本块图片的图像视觉特征，提取文本块图片中识别文本的文字模态特征，并将图像视觉特征和文字模态特征进行融合，基于融合特征预测文本块图片中包含的真实文本的内部状态表示。

6.根据权利要求5所述的方法，其特征在于，所述图片文本识别模型包括：图像处理模块、文本处理模块、多模态融合模块及输出模块；

其中，图像处理模块，用于提取文本块图片的图像视觉特征；

文本处理模块，用于提取文本块图片中包含的识别文本的文字模态特征；

多模态融合模块，用于将所述图像视觉特征及所述文字模态特征进行融合，得到融合特征；

输出模块，用于基于所述融合特征确定文本块图片中包含的真实文本。

7.根据权利要求6所述的方法，其特征在于，所述多模态融合模块包括：

特征编辑模块，用于对所述图像视觉特征进行表示偏移及非线性变换，得到处理后图像视觉特征；

门控融合模块，用于采用门控融合方式，将所述处理后图像视觉特征及所述文字模态特征进行融合，得到融合特征；

残差连接模块，用于将所述融合特征与所述文字模态特征相加，得到残差融合特征，作为最终的融合特征。

8.根据权利要求6所述的方法，其特征在于，所述图像处理模块包括：

图像标准化模块，用于对文本块图片进行标准化处理，得到处理后文本块图片；

图像特征抽取模块，用于对所述处理后文本块图片抽取图像视觉特征；

线性变换模块，用于对所述图像视觉特征的维度进行线性变换，以输出与所述文字模态特征相同维度的图像视觉特征。

9.根据权利要求6所述的方法，其特征在于，所述文本处理模块包括：

文字预处理模块，用于将文本块图片中的识别文本通过填充设定字符的方式编辑至设定长度，确定编辑后的识别文本的特征表示；

文字模态特征抽取模块，用于对所述识别文本的特征表示进行编码，得到识别文本的文字模态特征。