[发明专利]一种视频抠图方法、装置、存储介质和设备

权利要求书

1.一种视频抠图方法，其特征在于，包括：

获取视频中预先标识的多个遮挡物以及与每个遮挡物对应的植入物体图像；

利用人体检测跟踪模型，计算得出所述视频中类型为人体的遮挡物的掩膜；

利用肤色分类器，计算得出所述视频中类型为手部的遮挡物的掩膜；

利用背景差分算法，计算得出所述视频中类型为运动物体的遮挡物的掩膜；

利用AI模型，计算得出所述视频中类型为不规则物体的遮挡物的掩膜；

对计算得出的各个掩膜进行高斯平滑，得到与每个掩膜对应的目标掩膜；

对于每个所述目标掩膜，利用所述目标掩膜与目标植入物体图像，计算得出与所述目标掩膜对应的被遮挡区域，并更改所述被遮挡区域在目标视频帧中的图层，使得所述图层置于所述目标视频帧的最底层；所述目标植入物体图像为：与所述目标掩膜所属遮挡物对应的植入物体图像；所述目标视频帧为：标识有所述目标掩膜所属遮挡物的视频帧；所述视频帧通过解析所述视频得到；

所述对计算得出的各个掩膜进行高斯平滑之前，还包括：

对于计算得出的每个掩膜，将所述掩膜、以及所述掩膜所属的视频帧输入至卷积神经网络模型中，得到所述卷积神经网络模型的输出结果；所述卷积神经网络模型基于将样本掩膜和样本视频帧作为输入，并以人工修正后的所述样本掩膜作为训练目标，预先训练得到；所述输出结果包括与所述掩膜对应的第一掩膜；所述第一掩膜为添加透明度通道、以及更多的细节后的所述掩膜；

对计算得出的各个掩膜进行高斯平滑，包括：

对各个所述第一掩膜进行高斯平滑。

2.根据权利要求1所述的方法，其特征在于，所述利用人体检测跟踪模型，计算得出所述视频中类型为人体的遮挡物的掩膜，包括：

解析所述视频，得到标识有遮挡物的多个视频帧；

对于标识有遮挡物的每个所述视频帧，将所述视频帧输入至人体检测跟踪模型中，得到所述人体检测跟踪模型的输出结果；所述人体检测跟踪模型基于将样本视频帧作为输入，并以所述样本视频帧中人工预先标注的矩形框的位置坐标以及特征向量作为训练目标，预先训练得到；所述人体检测跟踪模型的输出结果，包括与所述视频帧对应的矩形框的位置坐标以及特征向量；

计算第一特征向量和第二特征向量的余弦相似度；所述第一特征向量为与第一视频帧对应的特征向量，所述第二特征向量为与第二视频帧对应的特征向量；所述第一视频帧和所述第二视频帧为在播放时序上连续的两个视频帧；

利用第一矩形框的位置坐标和第二矩形框的位置坐标，计算所述第一矩形框和所述第二矩形框的重叠度；所述第一矩形框为与所述第一视频帧对应的矩形框，所述第二矩形框为与所述第二视频帧对应的矩形框；

对所述余弦相似度和所述重叠度进行加权求和，得到目标数值；

在所述目标数值大于第一预设阈值的情况下，确定所述第一矩形框所框选的对象与所述第二矩形框所框选的对象，均为同一人体，并将所述同一人体标识为所述第一视频帧和所述第二视频帧所共有的目标人体；

将所述目标人体输入至人体分割网络模型中，得到所述人体分割网络模型的输出结果；所述输出结果包括所述目标人体的掩膜。

3.根据权利要求1所述的方法，其特征在于，所述利用肤色分类器，计算得出所述视频中类型为手部的遮挡物的掩膜，包括：

解析所述视频，得到标识有遮挡物的视频帧；

对标识有遮挡物的所述视频帧进行双边滤波；

将标识有遮挡物的所述视频帧，从原有色彩空间转换到预设色彩空间下；

将所述预设色彩空间下的标识有遮挡物的所述视频帧，输入至肤色分类器中，得到所述肤色分类器的分类结果；所述肤色分类器基于将预先收集的肤色数据集作为训练样本，并使用贝叶斯规则预先训练得到；所述肤色数据集包括肤色样本和非肤色样本；所述肤色样本用于指示手部皮肤的肤色；所述分类结果包括皮肤区域和非皮肤区域；

对所述皮肤区域进行分割，得到手部的掩膜。