[发明专利]一种基于图像结构信息的OCR数据合成方法

权利要求书

1.一种基于图像结构信息的OCR数据合成方法，其特征在于，包括以下步骤：

步骤1：收集自然场景图像，用于建立图像背景库；

步骤2：构建图像结构信息预测网络SN，包括：编码模块Encoder，快速特征融合模块FM，结构预测模块Decoder；

所述编码模块Encoder，包含：4n个卷积层，n个最大池化层；

所述快速特征融合模块FM，包含4个卷积层，4个上采样层；

所述结构预测模块Decoder，包含3a个卷积层；

步骤3：将图像背景库中的每一张背景图片均输入图像结构信息预测网络SN中进行预测，得到对应的结构信息；

步骤3.1：将一张背景图片X送入编码模块Encoder中，每经过n层卷积后再经过一个最大池化层的下采样处理，从而经过4n个卷积层以及n个最大池化层处理后，得到四组特征图F₁、F₂、F₃、F₄，尺寸分别为其中，H和W是背景图片X的高与宽；

步骤3.2：将四组特征图F₁、F₂、F₃、F₄送入快速特征融合模块FM中，从而利用式(1)-(5)进行快速的特征融合，得到多种尺度的融合特征F_fuse：

F_fuse＝Conv(F₁^up) (1)

式(1)中：Conv表示卷积层操作，F₁^up表示第二组特征图F₂与第一组特征图F₁的融合特征，并有：

F₁^up＝Up(F₂^up)+Conv(F₁) (2)

式(2)中：Up表示上采样层操作；F₂^up表示第三组特征图F₃与第二组特征图F₂的融合特征，并有：

F₂^up＝Up(F₃^up)+Conv(F₂) (3)

式(3)中：F₃^up表示第三组特征图F₃与第四组特征图F₄的融合特征，并有：

F₃^up＝F₄^up+Conv(F₃) (4)

式(4)中：F₄^up表示对第四组特征图F₄进行上采样之后的特征，并有：

F₄^up＝Up(F₄) (5)

步骤3.3：将融合特征F_fuse送入结构预测模块Decoder中，从而利用式(6)-式(8)进行解码，分别得到语义分割图seg_X、深度估计图depth_X、边缘检测图edage_X并作为结构信息：

seg_X＝Conv_a1(F_fuse) (6)

depth_X＝Conv_a2(F_fuse) (7)

edage_X＝Conv_a3(F_fuse) (8)

式(6)-式(8)中：Conv_a1、Conv_a2、Conv_a3表示分别表示三个a次卷积操作；

步骤4：在背景图片X中找到一个嵌入文字的区域；

根据语义分割图seg_X中每一类别对应的区域，使用泛洪填充算法对边缘检测图edage_X进行处理，得到边缘内的连续区域；将每一类别对应的区域与连续区域进行合并处理，从而得到嵌入文字的区域；

步骤5：估计三维空间信息：

首先根据深度估计图depth_X计算背景图片X上每一个像素点的三维坐标；然后根据背景图片X上的每一个嵌入文字区域的所有像素点的三维坐标，计算对应的三维平面的信息；最后计算一个水平面分别映射到的每一个嵌入文字区域所对应的三维平面的单应性矩阵；

步骤6：建立前景背景颜色库：

通过聚类算法对背景图片X中的每个像素的颜色进行聚类，得到两个聚类中心，分别代表前景颜色与文字颜色；

对外部的文本识别数据集中的每张文本图片进行聚类，得到前景背景颜色库；

步骤7：将文字嵌入到背景图像X：

对一个嵌入文字的区域对应的背景颜色进行统计，并从前景背景颜色库中选择与统计出的背景颜色对应的前景文字的颜色；

随机选择一个字体与文本串，用于绘制前景文字图片，并根据嵌入文字区域的单应性矩阵对所述前景文字图片进行透视变换，再将透视后的前景文字图片与背景图片X进行泊松融合，得到最终的合成的文本图片。