[发明专利]基于图像的天空区域分割和特效处理方法、装置及设备

说明书

本申请实施例提供了一种基于图像的天空区域分割及特效处理方法、装置及设备，涉及图像处理领域，该方法通过获取包含天空内容特征的原始图像，将原始图像输入到天空分割网络进行语义分割处理，利用天空分割网络的编码器模块的第一卷积单元提取原始图像的具有不同感受野的第一图像特征，将第一图像特征输入到天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的原始图像的分辨率一致的第一特征图像，并得到原始图像对应的概率图像，根据概率图像对原始图像的天空区域进行分割，其中，天空分割网络为部署在客户端。本技术方案实现了在客户端上对图像中的天空区域进行精准分割，性能稳定，处理速度快，提高图像的展示效果。

技术领域

本申请涉及图像处理领域，具体而言，本申请涉及一种基于图像的天空区域分割和特效处理方法、装置及设备，还包括一种计算机可读存储介质。

背景技术

随着人工智能尤其是深度学习的快速发展，语义分割已经成为一个具有广泛应用场景的重要研究课题。天空分割是指将图像中的天空区域分割出来，然后通过相关后处理实现天气变换，如晴天、雨天和晚霞等，添加特效，如烟花、流光和极光等功能。

在相关技术中，一般采用基于深度学习的语义分割技术，通过将图像输入到深度学习网络结构或卷积神经网络中进行训练，得到天空分割模型，通过天空分割模型进行特征提取、分割、检测和识别等处理。然而，目前的天空分割模型，要么占用内存较大，只能在云端实现，无法部署在用户终端上实时运行。即便有些天空分割模型运行在用户终端，但分割不准确，使得分割效果差，影响用户的使用体验。

发明内容

本申请的目的旨在至少解决上述技术缺陷之一，特别是运算量大或分割精度低的问题。

第一方面，本申请实施例提供了一种基于图像的天空区域分割方法，包括以下步骤：

获取包含天空内容特征的原始图像；

将原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

根据所述概率图像对所述原始图像的天空区域进行分割。

在其中一个实施例中，所述编码器模块包括多层第一卷积单元；

所述利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征的步骤包括：

利用所述天空分割网络的编码器模块的多层第一卷积单元逐层提取所述原始图像的具有不同感受野的第一图像特征；其中，所述第一图像特征的分辨率逐层递减。

在其中一个实施例中，所述解码器模块包括多层第二卷积单元；所述第二卷积单元与所述第一卷积单元一一对应；

所述将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像的步骤包括：

采用特征跳接的方式将所述编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并结合上采样方式逐层进行网络运算，提取得到第二图像特征；

根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的第一特征图像。

在其中一个实施例中，各所述第一卷积单元包括多次堆叠的Conv+BN+ReLU网络层；