[发明专利]基于场景分割的人物装扮方法及装置、计算设备

说明书

技术领域

本发明涉及深度学习领域，具体涉及一种基于场景分割的人物装扮方法及装置、计算设备。

背景技术

随着科技的发展，图像采集设备的技术也日益提高。采集到的图像更加清晰、分辨率、显示效果也大幅提高。但现有录制的视频仅是单调的录制素材本身，可能无法满足用户的需求，用户希望对视频进行个性化处理，例如，用户想要对视频中的人物的面部区域添加美化效果。在现有技术中，大多是采用自适应模糊的方式对视频的帧图像进行处理，从而使其中的人物具有美化效果，然而采用这种方式处理后所得到的视频的显示效果不佳，视频不够清晰，背景虚化，缺乏真实性。

为改善美化效果，可以分割出人物的面部区域，在对其进行处理。现有技术中，分割面部区域所使用的神经网络往往具有多层中间层，这样可以得到更精准的识别结果。但多层中间层的计算速度会较慢，不能快速的进行分割，无法快速的对图像采集设备实时采集到的图像进行场景分割。而使用中间层较少的神经网络时，由于中间层层数较少，其计算速度较快，但受其层数限制，有可能造成计算能力有限、拟合能力较差、得到分割结果不准确等问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于场景分割的人物装扮方法及装置、计算设备。

根据本发明的一个方面，提供了一种基于场景分割的人物装扮方法，其包括：

实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；

将当前帧图像输入至第二神经网络中进行场景分割，得到特定对象的面部待装扮区域图像；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；

对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；

将帧处理图像覆盖当前帧图像得到处理后的视频数据；

显示处理后的视频数据。

可选地，对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：

从特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息；

根据关键信息，计算面部待装扮区域的各比例信息；

根据各比例信息，调整面部待装扮区域中的五官和/或脸型，并与当前帧图像进行融合处理，得到处理后的帧图像。

可选地，对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：

根据特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图；

将美妆效果贴图与当前帧图像进行融合处理，得到处理后的帧图像。

可选地，根据特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图进一步包括：

从特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息，根据关键信息绘制对应的美妆效果贴图。

可选地，关键信息为关键点信息；

根据关键信息绘制对应的美妆效果贴图进一步包括：

查找与关键点信息对应的基础美妆效果贴图；或者，获取用户指定的基础美妆效果贴图；

根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；

依据位置信息，对基础美妆效果贴图进行处理，得到美妆效果贴图。

可选地，依据位置信息，对基础美妆效果贴图进行处理，得到美妆效果贴图进一步包括：

依据位置信息中的距离信息，对基础美妆效果贴图进行缩放处理。

可选地，依据位置信息，对基础美妆效果贴图进行处理，得到美妆效果贴图进一步包括：

依据位置信息中的旋转角度信息，对基础美妆效果贴图进行旋转处理。

可选地，在得到处理后的帧图像之后，方法还包括：

根据美化效果，对帧图像进行色调处理、光照处理和/或亮度处理。

可选地，显示处理后的视频数据进一步包括：将处理后的视频数据实时显示；

方法还包括：将处理后的视频数据上传至云服务器。

可选地，将处理后的视频数据上传至云服务器进一步包括：

将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。

可选地，将处理后的视频数据上传至云服务器进一步包括：