[发明专利]基于双分支神经网络的离线手写签名分割系统和方法

权利要求书

1.一种基于双分支神经网络的离线手写签名分割方法，其特征在于，定位手写签名在图像中的位置确定候选区域，基于检测框的置信度及候选框获得感兴趣区域图像；基于编码-译码分支网络对感兴趣区域图像中签名主体及签名周围边界进行初步分割获得语义特征图，按照区域划分特征类别；对语义特征图经过空洞空间金子塔池化上采样操作，学习签名边界细节获得卷积特征图；基于注意力机制融合语义特征图和卷积特征图生成预测签名区域掩膜；采用二分类神经网络将签名区域预测作为输入评估其是否足够真，以此愚弄双分支签名分割网络生成更高质量的分割签名；通过图像处理操作移除分割签名中的噪声和干扰，进行过滤及笔画结构优化得到最终签名输出。

2.根据权利要求1所述的方法，其特征在于，所述进行初步分割获得语义特征图进一步包括，采用多个卷积层对感兴趣区域图像进行特征编码，采用反卷积恢复签名图像空间维度并区分签名主体及边界所在区域，压缩激励网络SE模块关注图像特征通道，进行特征编码得到多个阶段的特征图，根据顺序分别记为E₁～E₄特征，其中，特征E₄通过SE模块进行通道重要性加权,然后将前3个阶段的特征E₁～E₃分别与解码网络的不同阶段进行特征融合,输出一个具有三通道的特征图，每一个特征图分别代表一个类别。

3.根据权利要求1所述的方法，其特征在于，对语义特征图经过空洞空间金子塔池化上采样操作进一步包括，使用空洞空间金子塔池化ASPP模块通过扩大卷积核的感受野聚合不同感受野的特征，使得签名周围边界特征有效联系签名前景和文档背景信息，进行高水平细节预测，实现更加精准的签名分割；设置6个卷积层生成卷积特征图，其中，前5个卷积层对低水平语义学习分支模块编码网络输出的特征图分别进行卷积操作，最后一个卷积层采用1x1卷积核对前5个卷积层的输出特征图通道连接后进行通道压缩输出卷积特征图。

4.根据权利要求1或2所述的方法，其特征在于，所述按照区域划分特征类别进一步包括：按照签名主体、签名边界及背景的空间位置分配对应的特征中心向量，使得属于相同类别的图像特征向所赋予的特征中心靠拢，使用中心损失加强输出特征图中不同类别特征间的“类内一致性”，经前向传播后输出一个三通道的区域预测图，对编码器末尾卷积层输出的特征进行压缩操作，将每个特征通道变成一个实数，通过激励操作压缩后的特征生成权重，将权重逐通道加权到特征上，完成对特征的通道注意力标定。

5.根据权利要求1—3其中之一所述的方法，其特征在于，所述生成预测签名区域掩膜进一步包括，捕获签名空间结构，空间判别子网络与双分支签名分割网络相互对抗，一方面训练空间判别子网络最大化区分真实签名掩膜与预测签名掩膜，同时强迫双分支签名分割网络生成更高质量的预测签名掩膜，根据预测签名掩膜标记真实签名掩膜标记I_alpha、双分支签名分割网络G，空间结构判别器D，调用公式：计算对抗损失函数L_adv(G，D)，根据待分割文档图像I_sig、签名主体与签名边界区域的语义标记I_label、签名边界区域标记I_border、真实签名掩膜标记I_alpha、交叉熵损失函数L_seg、均方方差损失函数L_detail，调用公式：L_total＝λ_segL_seg(I_sig，I_label)+λ_detailL_detail(I_sig，I_border)+λ_adv(I_sig，I_alpha)计算双分支签名分割网络损失函数，其中，λ_seg、λ_detail、λ_adv分别表示交叉熵损失函数权重系数、均方差损失函数权重系数、对抗损失函数权重系数。