[发明专利]一种视频抠图方法、装置、存储介质和设备

说明书

本申请公开了一种视频抠图方法、装置、存储介质和设备，利用人体检测跟踪模型，计算得出视频中类型为人体的遮挡物的掩膜。利用肤色分类器，计算得出视频中类型为手部的遮挡物的掩膜。利用背景差分算法，计算得出视频中类型为运动物体的遮挡物的掩膜。利用AI模型，计算得出视频中类型为不规则物体的遮挡物的掩膜。对各个掩膜进行高斯平滑，得到与每个掩膜对应的目标掩膜，对于每个目标掩膜，利用目标掩膜与目标植入物体图像，计算得出与目标掩膜对应的被遮挡区域，并更改被遮挡区域在目标视频帧中的图层，使得图层置于目标视频帧的最底层。相较于现有技术，本申请所述方案，无需人工进行逐帧抠图，效率较高。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种视频抠图方法、装置、存储介质和设备。

背景技术

对于综艺影视剧视频，每年有大量的需求需要在后期植入广告产品，为了使得植入产品与拍摄场景天衣无缝地融合，达到以假乱真地效果，就像该广告产品原本就摆放在拍摄场景中一样，需要对视频中广告产品的遮挡物进行抠图处理。此外，综艺影视剧视频中为了保护广告主权益，避免竞争产品曝光，会对视频中出现的竞争产品进行规避处理，即通过植入相似背景来遮盖竞争产品，可在不影响用户观看体验的同时，达到避免竞争产品曝光的目的。无论是植入广告产品，还是遮盖竞争产品，其关键技术就是对遮挡物的抠图处理。

传统的抠图处理，均为人工采用Adobe Photo Shop等相关图像处理软件进行逐帧抠图，效率较低，且抠图处理后的视频中会出现闪动现象，影响用户的观看体验。

发明内容

本申请提供了一种视频抠图方法、装置、存储介质和设备，目的在于提高视频抠图处理的效率。

为了实现上述目的，本申请提供了以下技术方案：

一种视频抠图方法，包括：

获取视频中预先标识的多个遮挡物以及与每个遮挡物对应的植入物体图像；

利用人体检测跟踪模型，计算得出所述视频中类型为人体的遮挡物的掩膜；

利用肤色分类器，计算得出所述视频中类型为手部的遮挡物的掩膜；

利用背景差分算法，计算得出所述视频中类型为运动物体的遮挡物的掩膜；

利用AI模型，计算得出所述视频中类型为不规则物体的遮挡物的掩膜；

对计算得出的各个掩膜进行高斯平滑，得到与每个掩膜对应的目标掩膜；

对于每个所述目标掩膜，利用所述目标掩膜与目标植入物体图像，计算得出与所述目标掩膜对应的被遮挡区域，并更改所述被遮挡区域在目标视频帧中的图层，使得所述图层置于所述目标视频帧的最底层；所述目标植入物体图像为：与所述目标掩膜所属遮挡物对应的植入物体图像；所述目标视频帧为：标识有所述目标掩膜所属遮挡物的视频帧；所述视频帧通过解析所述视频得到。

可选的，所述利用人体检测跟踪模型，计算得出所述视频中类型为人体的遮挡物的掩膜，包括：

解析所述视频，得到标识有遮挡物的多个视频帧；

对于标识有遮挡物的每个所述视频帧，将所述视频帧输入至人体检测跟踪模型中，得到所述人体检测跟踪模型的输出结果；所述人体检测跟踪模型基于将样本视频帧作为输入，并以所述样本视频帧中人工预先标注的矩形框的位置坐标以及特征向量作为训练目标，预先训练得到；所述人体检测跟踪模型的输出结果，包括与所述视频帧对应的矩形框的位置坐标以及特征向量；

计算第一特征向量和第二特征向量的余弦相似度；所述第一特征向量为与第一视频帧对应的特征向量，所述第二特征向量为与第二视频帧对应的特征向量；所述第一视频帧和所述第二视频帧为在播放时序上连续的两个视频帧；