[发明专利]基于图像的天空区域分割和特效处理方法、装置及设备

权利要求书

1.一种基于图像的天空区域分割方法，其特征在于，包括以下步骤：

获取包含天空内容特征的原始图像；

将所述原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

根据所述概率图像对所述原始图像的天空区域进行分割。

2.根据权利要求1所述的基于图像的天空区域分割方法，其特征在于，所述编码器模块包括多层第一卷积单元；

所述利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征的步骤包括：

利用所述天空分割网络的编码器模块的多层第一卷积单元逐层提取所述原始图像的具有不同感受野的第一图像特征；其中，所述第一图像特征的分辨率逐层递减。

3.根据权利要求2所述的基于图像的天空区域分割方法，其特征在于，所述解码器模块包括多层第二卷积单元；所述第二卷积单元与所述第一卷积单元一一对应；

所述将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像的步骤包括：

采用特征跳接的方式将所述编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并结合上采样方式逐层进行网络运算，提取得到第二图像特征；

根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的第一特征图像。

4.根据权利要求3所述的基于图像的天空区域分割方法，其特征在于，各所述第一卷积单元包括多次堆叠的Conv+BN+ReLU网络层；

各所述第二卷积单元的运算操作包括Conv+BN+ReLU+UpSample网络层，其中，每层第二卷积单元通过行双线性插值上采样操作逐层增加输出的第二图像特征的分辨率。

5.根据权利要求1所述的基于图像的天空区域分割方法，其特征在于，所述对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练的步骤包括：

确定所述解码器模块的至少两层的第二卷积单元所输出的第二特征图像相对于所述原始图像的分辨率比值；

根据所述分辨率比值，确定用于对所述至少两层的第二卷积单元进行训练的BCE损失函数的种类和权重值；

基于所述权重值，利用对应种类的BCE损失函数对天空分割网络进行约束训练。

6.根据权利要求5所述的基于图像的天空区域分割方法，其特征在于，所述确定所述解码器模块的至少两层的第二卷积单元所输出的第二特征图像相对于所述原始图像的分辨率比值的步骤包括：

通过1×1卷积将所述解码器模块的至少两层的第二卷积单元的特征通道调整为输出通道，并输出对应的第二特征图像；

基于所述第二特征图像的分辨率，计算所述第二特征图像相对于所述原始图像的分辨率比值。

7.根据权利要求1所述的基于图像的天空区域分割方法，其特征在于，所述根据所述第一特征图像得到所述原始图像对应的概率图像的步骤包括：

将所述第一特征图像利用Sigmoid函数进行转换，得到所述特征图像对应的概率图像；其中，所述第一特征图像为所述编码器模块的最后一层第二卷积单元输出的第二特征图像。