[发明专利]视频图像的区域分割及头发替换方法、装置及设备

说明书

本申请实施例提供的视频图像的区域分割及头发替换方法、装置、设备及计算机可读存储介质，涉及图像处理领域，该方法通过获取视频图像的图像帧序列对应的待分割图像集；利用头发分割网络的编码器模块提取待分割图像的具有不同感受野的第一图像特征，将第一图像特征输入到头发分割网络的解码器模块进行处理，还原得到与输入的待分割图像的分辨率一致的特征图像，得到待分割图像对应的概率图像，并对图像帧序列的头发区域进行分割，其中，头发分割网络为轻量级深度卷积神经网络，部署在客户端。本技术方案实现了在客户端上实时进行视频图像的头发区域的实时精准分割和实时头发样式变换，提高了视频图像的展示效果。

技术领域

本申请涉及图像处理领域，具体而言，本申请涉及一种视频图像的区域分割及头发替换方法、装置及设备，还包括一种计算机可读存储介质。

背景技术

随着人工智能尤其是深度学习的快速发展，语义分割已经成为一个具有广泛应用场景的重要研究课题。头发分割是指将图像中的头发区域分割出来，然后通过相关后处理实现头发换色、发型变换等功能。

在相关技术中，一般采用基于深度学习的语音分割技术，通过将图像输入到深度学习网络结构或卷积神经网络中进行训练，得到头发分割模型，通过头发分割模型进行特征提取、分割、检测和识别等处理。然而，由上述方法中采用的头发分割模型占用内存较大，由于用户终端功耗与运算能力的限制，只能在云端实现，无法部署在用户终端上实时运行。即便有些头发分割模型运行在用户终端，但其简单利用卷积神经网络对图像进行头发分割，准确性低，分割效果差。

发明内容

本申请的目的旨在至少解决上述技术缺陷之一，特别是运算量大、分割准确度低的问题。

第一方面，本申请实施例提供一种视频图像的区域分割方法，包括以下步骤：

获取视频图像的图像帧序列对应的待分割图像集；

将所述待分割图像集中的各所述待分割图像依次输入到头发分割网络，对所述待分割图像进行语义分割处理，利用所述头发分割网络的编码器模块提取不同感受野的第一图像特征，将所述第一图像特征输入到所述头发分割网络的解码器模块进行处理，还原得到与输入的所述待分割图像的分辨率一致的特征图像，并根据所述特征图像得到所述待分割图像对应的概率图像；其中，所述头发分割网络为压缩通道数量的卷积神经网络；

根据所述概率图像对所述图像帧序列的头发区域进行分割。

在一实施例中，所述编码器模块包括多层第一卷积单元；

所述利用所述头发分割网络的编码器模块提取不同感受野的第一图像特征的步骤包括：

利用所述头发分割网络的编码器模块的多层第一卷积单元逐层提取不同感受野的第一图像特征；其中，所述第一图像特征的分辨率逐层递减。

在一实施例中，所述解码器模块包括多层第二卷积单元，所述第二卷积单元与所述第一卷积单元一一对应；

所述将所述第一图像特征输入到所述头发分割网络的解码模块进行处理，还原得到与输入的所述待分割图像的分辨率一致的特征图像的步骤包括：

采用特征跳接的方式将所述编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积层中，并结合上采样方式逐层进行网络运算，提取得到第二图像特征；

根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的特征图像。

在一实施例中，所述编码器模块包括五层第一卷积单元；所述解码器模块包括五层第二卷积单元；

各所述第一卷积单元包括多次堆叠的不同个数的可分离卷积模块；所述可分离卷积模块的运算操作包括3×3分组卷积、批归一化、ReLU6激活函数、1×1常规卷积、批归一化、ReLU6激活函数六个运算单元；