[发明专利]一种基于显著度匹配的画风迁移方法

权利要求书

1.一种基于显著度匹配的画风迁移方法，其特征在于，包括以下模块：

模块一、特征抽取模块：给定一幅输入图像，通过特征抽取模块得到特征矩阵；

模块二、子画风迁移模块：对特征矩阵表达的内容图进行处理使其具备不同的子画风，并解码生成带有不同子画风的多幅内容图；其中，子画风总数量M和子画风的显著度排序事先由用户自由指定；

子画风迁移模块包括两个部分，迁移子网和子画风解码器；迁移子网接收特征抽取模块所提取出来的特征，对特征进行卷积操作使其依据每个子画风进行风格化；只需要在迁移子网中并行M个参数不共享的卷积层分支完成对M个子画风的风格迁移；

子画风解码器为K层的尺度调整卷积网络，接收子画风风格化后的特征，并将其解码恢复到原始图片大小，得到M张带子画风风格的内容图；引入尺度调整卷积来代替传统解码器中的反卷积；其中，K＝3；

模块三、基于显著度的区域分解模块：该模块以特征矩阵表达的内容图为输入，将其依据注意力机制按照重要性程度进行内容分解，并解码生成N张与内容图尺寸一致、显著度由高到低排序的区域分布图，每张图中像素取值表示该像素属于当前显著层级的概率；

基于显著度的区域分解模块由两个部分组成,包括区域分解卷积LSTM子网和分区图解码器；

区域分解卷积LSTM子网基于视觉注意力机制，将特征提取模块输出的特征转换为N个显著度层级的、与输入特征同宽高的单通道区域分布矩阵，每个矩阵上每个元素的值表示该元素属于该显著度层级的概率；

构建的区域分解卷积LSTM网络包含N个循环的卷积LSTM结构，第i个循环得到第i个显著度层级的区域概率图，具体如下：(1)LSTM的所有全连接结构设计成卷积的形式；

(2)在LSTM特征传递过程中引入前序循环已计算结果，即每个矩阵元素在前序显著度阶层上的概率值，用Amap_i，i＝1，...，t-1，表示第i个循环获得的与输入特征同等尺寸的单通道区域分布矩阵；Amap_i其中每个元素取值范围为[0，1]，表示每个元素在第i个显著度层级上的概率；设置当前t时刻的输入为累加矩阵，即AMap_sum＝∑_i∈SAMap_i，与特征提取模块输出的特征矩阵做哈达马积操作，即Mask操作；其中，S为集合{1，…，t-1}的子集；

解码器为K层的尺度调整卷积网络，分别将N个区域矩阵解码为与内容图同等尺寸的N张概率图，表示第N个显著度阶层上每个像素所属概率；解码后的概率图在画风图像合成模块中，将作为对应显著度的子画风风格后的内容图的融合权重；其中，K＝3；

模块四、画风图像合成模块：对子画风内容图和内容区域分布图按显著度的一致性进行匹配，以区域分布图的像素值为权值，加权对应子画风图像的相应像素；所有加权后的子画风内容图加和生成最终的画风迁移图；

画风图像合成模块将N张带子画风风格的内容图融合生成一张带画风图风格的内容图；在M＝N情况下，子画风图与概率权值图一一对应；在M与N不相等情况下，做线性对应，即第m张子画风图取第n张权值图，n＝mN/M；在M等于N情况下，如多张子画风对应同一权值图，可对该权值图按照像素值均分的方式做成多张权值图；如多张权值图对应一张子画风图，可对权值图像通过像素值相加叠加成一张权值图；

总之，使得每张子画风图仅对应一张权值图；用表示第m张子画风内容图该像素位置处的值，用n(m)表示该画风图对应的显著度图编号，为第n(m)张概率度图中第i个像素位置处的值，合成图中第i个像素的值t_i为：

2.根据权利要求1所述的方法，其特征在于：

特征抽取模块由编码器和残差子网组成；编码器通过一个L层卷积神经网络实现多尺度特征提取和非线性映射计算，获取语义层次的特征表达，随后通过一个J层残差模块进行进一步特征凝练；其中，L＝3，J＝5。

3.根据权利要求1所述的方法，其特征在于：

训练阶段对所提出架构进行分支训练，使每个分支向目标作用优化。