[发明专利]基于图像卡通化的在线直播方法、装置和电子设备

权利要求书

1.一种基于图像卡通化的在线直播方法，其用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，其特征在于，所述方法还包括：

收集真实人脸数据集和卡通人脸数据集，建立训练数据集；

基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；

根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；

获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。

2.根据权利要求1所述的基于图像卡通化的在线直播方法，其特征在于，还包括：

预设约束规则，所述约束规则包括设定一致性参数、使损失函数最小化，所述一致性参数包括颜色一致性、位置一致性、纹理一致性、边缘信息一致性中的至少两个；

所述约束规则还包括判断特定缩放尺寸范围内的真实人脸图像与所生的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性。

3.根据权利要求1或2所述的基于图像卡通化的在线直播方法，其特征在于，所述确定损失函数包括：

选择一致性参数，以确定损失函数，所确定的损失函数为：

L_total＝λ₁L_GAN(G，D_Y，X，Y)+λ₂L_GAN(F，D_X，Y，X)+λ₃L_cycle+λ₄L_color+λ₅L_texture(G，X)+λ₆L_attribute(G，X)

其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；D_X是第一判别器；D_Y是第二判别器；λ₁、λ₂、λ₃、λ₄、λ₅、λ₆是可设定参数；L_GAN是判别器的损失值；L_cycle是循环损失值；L_color是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；L_texture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和/或五官位置上的损失值；L_attribute为表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值。

4.根据权利要求1-3任一所述的基于图像卡通化的在线直播方法，其特征在于，还包括计算L_attribute，L_attribute的计算表达式如下：

其中，L_attribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；A_X是用于计算用户的真实人脸图像的头像属性值；A_Y是用于计算所生成的用户的人物卡通头像的头像属性值；是用于表示取A_X与A_Y的欧氏距离的均值；||A_X(x)-A_Y(G(x))||₂表示计算生成前后头像属性特征向量的欧氏距离；

构建第一计算模型和第二计算模型，所述第一计算模型用于计算真实人脸图像的头像属性值，所述第二计算模型用于计算人物卡通头像的头像属性值。