[发明专利]改进FANnet生成网络的图像字符编辑方法

权利要求书

1.改进FANnet生成网络的图像字符编辑方法，其特征在于，所述方法包括以下步骤：

(1)从图像中选择欲替换的源字母，并通过HC显著性检测算法和自定义阈值分割算法的自适应目标检测模型提取源字母的二值图；

(2)通过FANnet生成网络生成与源字符字体结构一致的目标字符二值图；

(3)通过基于颜色复杂度的自适应局部颜色迁移模型对已得目标二值图进行颜色迁移后将源字母替换为生成字母；

步骤(1)中自适应目标检测模型为：

Δ(T)＝Sr(T_HC)-Sr(T_B) (7)

式中，I_HC代表原图I经过HC算法处理后的二值图；I_B代表区域Ω的二值图，T代表区域Ω内的一个连通分量，Sr(.)代表对区域Ω经过源字母提取后的最小边界框，B_T为连通分量的最小边界值；

源字母二值图定义为：

图像I_f包含选定区域Ω内所有的字母二值图，I_M代表原图I经过MSER算法处理后得到的二值图；⊙代表矩阵的元素积；

局部色彩迁移模型的算法为：

建立计算I_θ的非零边框得到通过元素点乘操作后得到具有颜色特征的源字母显著图：

色彩复杂度判别算法为：

S为源字符颜色复杂度，γ为判别因子，定义为0.28，M代表在N_c中随机选择f_color×N个颜色，N代表中不同颜色的数目，f_color定义为0.1，n代表像素点P在RGB通道的值，且满足P_n＝max(N_c)，N_c定义为中颜色c出现的次数，Dis_simlar(.)表示空间颜色距离，当且仅当P_n与P_i为相似色时计数加一，当源字母被判定为纯色时，仅对目标字母进行纯色迁移；

当源字母被判定为非纯色时，提取中源字母内的颜色特征，采用双线性差值法对源字母内含有颜色特征信息的区域依次进行处理，从而得到颜色掩码：

定义I_color为大小与目标字母二值图相同尺寸的零图，然后对图像逐行进行颜色提取，即当像素点值p_color＝0时删除该像素点，否则保留，将颜色提取后的第i行记为Row_i，T_i(.)代表对Row_i进行双线性插值操作，其中：

y_color对应颜色掩码I_color第i行中像素点坐标，对应Row_i中像素点坐标，且存在映射关系：

w_color，分别为I_color和Row_i的宽度，u，v分别为计算得到和y_color的小数部分，最后进行颜色迁移操作：

式中，I_color表示颜色掩码图，B_terget表示目标字母的二值图，⊙表示矩阵元素内积；

字体自适应生成神经网络，即FANnet生成网络含有两个不同的输入，分别是尺寸为64×64的源字母二值图和目标字母的标签，在网络的编码部分，输入的源字母图像通过滤波器分别为16、16和1的3个卷积层，随后经过全连接层FC1，独热编码v经过全连接层FC2，通过维度变换，将FC1和FC2的输出均转化为512维的潜在表示，并将其连接作为全连接层FC3和FC4的输入，全连接层FC3和FC4均含有1024个神经元，网络的解码部分将FC4输出的特征向量尺寸转换为8×8×16，后依次经过3个滤波器为16、16和1的反卷积层，每一个反卷积层包括一次上采样操作和一个2D卷积，所有的卷积层使用3×3的卷积核，后连接一个ReLU的激活函数。