[发明专利]基于图像卡通化的在线直播方法、装置和电子设备

说明书

本发明属于教育领域，提供一种基于图像卡通化的在线直播方法、装置、电子设备，该方法用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，所述方法还包括：收集真实人脸数据集和卡通人脸数据集，建立训练数据集；基于生成对抗网络，建立初始人物卡通头像生成模型，使用训练数据集进行交替训练；根据约束规则，确定损失函数，并使用损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；获取当前直播视频流中待转换的原始图像，使用最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。本发明能够保证人物卡通图像生成前后的图像在颜色、位置、边缘、纹理、头像属性等多维度上的一致性。

技术领域

本发明属于教育领域，特别适用于线上教育领域，更具体的是涉及一种基于图像卡通化的在线直播方法、装置和电子设备。

背景技术

随着互联网络的发展，越来越多的网络课程涌现，老师通过网络授课或在线课堂来传授知识成为了重要的学习方式。

然而，在现有的一部分在线教育系统中，在具体课程学习过程中，通常存在老师与学员的交互过程。但是，在相关技术中，定位人脸以及各五官，再将人脸的各个器官分别转化，然后再拼接在一起。上述方法对检测模型的稳定性要求很高，对于交互场景中，位置的检测还需要配合人工标注，显然，上述方法无法满足直播场景，并且分别生成再拼合的生成过程，成本相对较高。此外，由于分别生成的五官之间可能存在互相不协调的问题，同时还存在如何将生成好的五官拼合在一起、五官和面部连接处的处理、颜色一致性差等其他问题。因此，在如何生成更自然、更真实的卡通头像方面，仍存在很大改进空间。

因此，有必要提供一种更有效的在线直播方法，能够更自然且更有效进行图像卡通化转换。

发明内容

(一)要解决的技术问题

本发明旨在解决现有卡通图像生成方法无法满足直播场景中的实时生成、图像颜色一致性差等问题。

(二)技术方案

为解决上述技术问题，本发明的一方面提出一种基于图像卡通化的在线直播方法，其用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，所述方法还包括：收集真实人脸数据集和卡通人脸数据集，建立训练数据集；基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；根据约束规则，确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；获取当前直播视频流中待转换的原始图像，使用所述最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。

根据本发明的优选实施方式，还包括：预设约束规则，所述约束规则包括设定一致性参数、使损失函数最小化，所述一致性参数包括颜色一致性、位置一致性、纹理一致性、边缘信息一致性中的至少两个；所述约束规则还包括判断特定缩放尺寸范围内的真实人脸图像与所生的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性。

根据本发明的优选实施方式，所述确定损失函数包括：选择一致性参数，以确定损失函数，所确定的损失函数为：

L_total＝λ₁L_GAN(G,D_Y,X,Y)+λ₂L_GAN(F,D_X,Y,X)+λ₃L_cycle+λ₄L_color+λ₅L_texture(G,X)+λ₆L_attribute(G,X)