[发明专利]背景替换方法、装置、设备及存储介质

说明书

本发明公开了一种背景替换方法、装置、设备及存储介质。该方法包括：在视频帧数据中确定人体感兴趣区域；基于人体感兴趣区域通过预设人像分割网络确定人体感兴趣区域中的初始人像掩膜，其中，初始人像掩膜包括各像素点的像素概率值；根据像素概率值对初始人像掩膜进行图像区域划分，获得目标掩膜；对目标掩膜进行光流跟踪，获取最终掩膜；根据最终掩膜将预设替换背景与视频帧数据进行融合，得到背景替换后的目标视频帧。本发明通过预设人像分割网络输出包含概率值的掩膜，通过概率值对掩膜区域划分，使得前景到背景平滑过渡，对掩膜进行光流跟踪，保证掩膜稳定，解决语义分割算法获取到的掩膜的前景边缘带有锯齿，多帧之间存在视觉抖动的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种背景替换方法、装置、设备及存储介质。

背景技术

语义分割主要是将输入图像进行像素级的分类，以此得到背景和预先定义的一个或多个类别前景，目前语义分割主要可分为传统图像处理方法和深度学习方法两种。人像语义分割属于通用语义分割的子集，归属为二值分割，即前景人像和背景两个类。当前语义分割算法精度低，经语义分割获取的掩膜(mask)的前景边缘常带有锯齿，边缘锯齿会给分割后续应用带来很大干扰。

除mask边缘锯齿外，由于输入视频的帧间存在时空差异，导致每帧之间的mask存在差异，连续播放时感官上会存在抖动，这一抖动现象给后续分割应用带来较差的视觉体验。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种背景替换方法、装置、设备及存储介质，旨在解决现有的语义分割算法精度低，获取到的掩膜的前景边缘带有锯齿，多帧之间的掩膜存在差异而产生视觉抖动的技术问题。

为实现上述目的，本发明提供了一种背景替换方法，所述方法包括以下步骤：

在视频帧数据中确定人体感兴趣区域；

基于所述人体感兴趣区域通过预设人像分割网络确定所述人体感兴趣区域中的初始人像掩膜，其中，所述初始人像掩膜包括各像素点的像素概率值；

根据所述像素概率值对所述初始人像掩膜进行图像区域划分，获得目标掩膜；

对所述目标掩膜进行光流跟踪，获取最终掩膜；

根据所述最终掩膜将预设替换背景与所述视频帧数据进行融合，得到背景替换后的目标视频帧。

可选地，所述根据所述像素概率值对所述初始人像掩膜进行图像区域划分，获得目标掩膜，包括：

根据所述像素概率值将所述初始人像掩膜划分为前景区域、背景区域以及羽化过渡区域，并将所述前景区域、背景区域以及羽化过渡区域作为当前掩膜；

对所述前景区域以及所述羽化过渡区域进行遍历，确定若干连通区域；

确定各连通区域的面积；

若目标连通区域的面积小于预设面积值，则将所述目标连通区域内各像素点的像素概率值调整为背景概率值，得到目标掩膜。

可选地，所述根据所述像素概率值将所述初始人像掩膜划分为前景区域、背景区域以及羽化过渡区域，并将所述前景区域、背景区域以及羽化过渡区域作为当前掩膜，包括：

若第一像素点的像素概率值大于第一预设概率值，则将所述第一像素点划分至前景区域，并将所述第一像素点的像素概率值调整为前景概率值；

若所述第一像素点的像素概率值小于第二预设概率值，则将所述第一像素点划分至背景区域，并将所述第一像素点的像素概率值调整为背景概率值；

若所述第一像素点的像素概率值大于或等于所述第二预设概率值且小于或等于所述第一预设概率值，则将所述第一像素点划分至羽化过渡区域；