[发明专利]一种实现图像多情感自主转换的方法及系统

权利要求书

1.一种实现图像多情感自主转换的方法，其特征在于，包括：

输入待转换图像，进行预处理；

将预处理后的图像进行特征提取，得到特征向量；

将特征向量输入V-A回归器预测待转换图像的V-A值；

根据V-A值与情感类别分布关系判断输入图像的情感类别；

将情感类别转换为相应控制码；

根据控制码生成情感标签，根据情感标签确定目标情感类别，根据目标情感类别对输入图像做情感转换，得到多张属于目标情感类别的输出图像；

所述V-A回归器有两个输出节点，两个输出节点的值裁减到范围[1,9]，此时两个输出节点的值分别代表V值和A值：

其中，a₁和a₂分别为两个输出节点的输出值；

所述控制码由一个十进制数表示，控制码为1，则表示愉悦；控制码为2，则表示愤怒；控制码为3，则表示敬畏；控制码为4，则表示满意；控制码为5，则表示厌恶；控制码为6，则表示兴奋；控制码为7，则表示恐惧；控制码为8，则表示悲伤；

所述情感标签由八位独热码表示，每一位依次表示愉悦、愤怒、敬畏、满意、厌恶、兴奋、恐惧、悲伤，若独热码某一位的值为1，其他位的值为0，则表示图像属于“1”位所代表的目标情感类别；

所述控制码所对应的的情感类别，在情感标签中的相应独热码位的值为0；

所述对输入图像做情感转换，得到多张属于目标情感类别的输出图像包括训练阶段和推理阶段，在训练阶段，首先将目标情感标签通过复制扩展得到三维的目标情感标签，其前两维分别表示高和宽，与输入图像的高和宽相同，第三维为通道，通道数目为8，然后将输入图像和三维目标情感标签拼接得到生成器的混合输入，生成器将混合输入转换为目标情感标签所在的目标情感域的假图像；一方面，当判别器无法分辨目标情感域的假图像和目标情感域的真实图像的真假，即真或假的概率都为0.5，且能将其分类为目标情感域的图像，即预测情感类别标签与目标情感标签相同，则该生成的目标情感域的假图像就属于目标情感类别，意味着情感转换成功；另一方面，为了使转换后的图像保留输入图像的语义信息，我们将转换后的图像和复制扩展成三维的输入图像标签拼接输入生成器，生成重构图像，在重构图像与输入图像之间定义重构损失，这样，网络训练完成后，生成器就能将生成与输入图像语义一致的图像。

2.根据权利要求1所述的方法，其特征在于，V-A回归器由全连接神经网络构成。

3.一种实现权利要求1-2任一项所述一种实现图像多情感自主转换的方法的系统，其特征在于，包括输入图像情感识别单元及图像情感转换单元；

所述图像情感识别单元：用于输入图像，对输入图像进行预处理提取图像特征，根据图像特征识别图像所属情感类别，生成相应控制码；

所述图像情感转换单元，用于根据控制码进行情感转换，生成多张与输入图像情感类别不同的图像。

4.根据权利要求3所述的系统，其特征在于，所述图像情感转换单元包括基于条件生成对抗网络，实现多重映射的图像到图像翻译。