[发明专利]一种融合分割网络和生成网络的甲骨拓片图像字符训练方法

权利要求书

1.一种融合分割网络和生成网络的甲骨拓片图像字符训练方法，其特征在于，包括以下步骤：

S1、将设定数量的成对甲骨拓片和甲骨字符图像输入甲骨拓片图像增广模块进行随机形态处理，得到增广甲骨拓片和甲骨字符图像集合；

S2、构建甲骨字符提取网络，甲骨字符提取网络使用GAN作为基本骨架，由一个生成器和两个子判别器构成，生成器中包含两个共享相同特征编码的子分支：嵌入学习分支和甲骨字符生成分支，其中，嵌入学习分支用来在嵌入空间学习甲骨背景和甲骨字符的可判别特征，甲骨字符生成分支用来学习甲骨拓片图像与甲骨字符图像间的映射；

S3、将增广甲骨拓片图像输入到甲骨字符提取网络进行前向传播，直接生成对应的甲骨字符图像预测，具体包括：

1)将步骤S1得到的增广甲骨拓片图像送入特征编码器进行编码处理，获取多个尺度的特征图；2)卷积层1、卷积层3、卷积层5中的特征图送入嵌入学习分支，分别输出嵌入特征图I_E和字符区域得分图A_C；3)卷积层1、卷积层3、卷积层4、卷积层5中的特征图送入甲骨字符生成分支并生成最终的甲骨字符图像预测；

所述嵌入学习分支的操作如下：1)对特征编码器中的卷积层1、卷积层3、卷积层5中的特征图分别进行上采样操作还原到原始输入大小，并沿通道维度连接进行特征合并；2)对合并后的特征图执行两个连续的3x3卷积操作进行上下文融合；3)融合后的特征图分别经过两个并行的3x3卷积操作，得到特征嵌入图I_E和字符区域得分图A_C；

嵌入学习分支先利用分割网络学习像素级特征的能力，对甲骨拓片图像进行逐像素分类，达到甲骨背景特征和甲骨字符特征初步可判别的目的；再基于中心损失自适应性地为甲骨背景特征和甲骨字符特征学习特定的特征中心，并鼓励其朝着相应的特征中心逐渐靠近，从而实现可判别嵌入特征学习，其中，分割损失L_entropy和中心损失L_center定义如下：

其中，I_M表示真实甲骨字符图像I_c的二进制掩模，i表示I_M中的第i个位置的索引，N表示I_M中的像素总数，A_c∈(0，1)表示嵌入学习分支预测出的字符区域得分图；

其中，代表嵌入学习分支中特征嵌入图I_E的第i个特征向量，表示所属类别y_i的特征中心向量；

所述甲骨字符生成分支的操作如下：1)对特征编码器中的卷积层1、卷积层3、卷积层4、卷积层5中的特征图，分别依次执行用于压缩通道个数的1x1卷积、用于增大感受野的残差块、用于还原到原始输入大小的上采样操作，得到多个不同感受野的特征图；2)将得到的不同感受野的特征图，沿通道维度连接，经过一个3x3卷积操作，得到一个融合不同尺度特征的特征图；3)将得到的融合不同尺度的特征图和来自于嵌入学习分支预测出的字符区域得分图一同送入空间注意模块融合处理，最后经过一个3x3卷积，生成最终的甲骨字符图像预测；

S4、将S3中生成的甲骨字符图像预测分别送入全局判别器和局部判别器，评估其在全局和局部特征的一致性，为使甲骨字符提取模型训练更加稳定，使用最小二乘损失计算甲骨字符图像预测与对应真实甲骨字符图像间的差异，生成网络G,全局和局部判别D_G,D_L的损失函数表达如下:

其中，p_data是训练数据的经验分布，I_O表示原始的甲骨拓片图像输入，I_c表示甲骨拓片图像对应的真实甲骨字符图像，T表示裁剪和连接操作；

S5、损失计算，根据生成网络的输出：甲骨字符区域得分图、嵌入特征图、甲骨字符图像预测，和判别网络的评估矩阵，分别计算相应的损失，总体上，甲骨字符提取模型的损失函数表示如下：

L_loss＝λ_entropyL_entropy+λ_centerL_center+λ_globalL_global+λ_localL_local+λ₁L₁

其中λ_entropy、λ_center、λ_global、λ_local、λ₁分别表示L_entropy、L_center、L_global、L_local、L₁的权重系数，L₁表示像素内容损失，其计算如下：

其中，I_c表示真实的甲骨字符图像，表示生成的甲骨字符图像预测，i表示I_c中的第i个位置的索引，N表示I_c中的像素总数；

S6、根据步骤S5计算获得的损失，使用Adam优化器更新模型权重参数，并重复执行S3-S5，直至总体损失函数收敛。