[发明专利]基于自适应跟踪框分割的视频穿越处理方法及装置

权利要求书

1.一种基于自适应跟踪框分割的视频穿越处理方法，所述方法用于对视频中每隔n帧划分得到的各组帧图像进行处理，针对其中一组帧图像，所述方法包括：

获取所述一组帧图像中包含有特定对象的第t帧图像以及与第t-1帧图像对应的跟踪框，其中t大于1；与第1帧图像对应的跟踪框是根据与第1帧图像对应的分割结果所确定的；

依据第t帧图像，对与第t-1帧图像对应的跟踪框进行调整处理，得到与第t帧图像对应的跟踪框；根据与第t帧图像对应的跟踪框，对所述第t帧图像的部分区域进行场景分割处理，得到与第t帧图像对应的分割结果；

根据与第t帧图像对应的分割结果，确定第t帧图像的第二前景图像，并根据所述第二前景图像，确定所述第二前景图像中的待处理区域；

依据时间处理参数，绘制与所述待处理区域对应的穿越效果贴图，所述穿越效果贴图包括以下贴图的一种或多种：服装效果贴图、装饰效果贴图、纹理效果贴图以及面部装扮效果贴图；

将所述穿越效果贴图与所述第二前景图像进行融合处理，得到处理后的第t帧图像；

将所述处理后的第t帧图像覆盖所述第t帧图像得到处理后的视频数据；

显示处理后的视频数据；

其中，所述依据第t帧图像，对与第t-1帧图像对应的跟踪框进行调整处理的步骤包括：

对第t帧图像进行识别处理，确定第t帧图像中针对特定对象的第一前景图像；

将与第t-1帧图像对应的跟踪框应用于第t帧图像；

根据第t帧图像中的第一前景图像，对与第t-1帧图像对应的跟踪框进行调整处理；

所述根据第t帧图像中的第一前景图像，对与第t-1帧图像对应的跟踪框进行调整处理的步骤包括：

计算第t帧图像中属于第一前景图像的像素点在与第t-1帧图像对应的跟踪框中所有像素点中所占的比例，将所述比例确定为第t帧图像的第一前景像素比例；

获取第t-1帧图像的第二前景像素比例，其中，第t-1帧图像的第二前景像素比例为第t-1帧图像中属于第一前景图像的像素点在与第t-1帧图像对应的跟踪框中所有像素点中所占的比例；

计算第t帧图像的第一前景像素比例与第t-1帧图像的第二前景比例之间的差异值；

判断所述差异值是否超过预设差异阈值；若是，则根据所述差异值，对与第t-1帧图像对应的跟踪框的大小进行调整处理。

2.根据权利要求1所述的方法，其中，所述依据时间处理参数，绘制与所述待处理区域对应的穿越效果贴图进一步包括：

从所述待处理区域中提取出所述待处理区域的关键信息；

根据所述时间处理参数和所述待处理区域的关键信息，绘制与所述待处理区域对应的穿越效果贴图。

3.根据权利要求2所述的方法，其中，所述关键信息为关键点信息；

所述根据所述时间处理参数和所述待处理区域的关键信息，绘制与所述待处理区域对应的穿越效果贴图进一步包括：

根据所述时间处理参数，查找与所述关键点信息匹配的基础穿越效果贴图；

根据所述关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；

依据所述位置信息，对所述基础穿越效果贴图进行处理，得到穿越效果贴图。

4.根据权利要求3所述的方法，其中，所述依据所述位置信息，对所述基础穿越效果贴图进行处理，得到穿越效果贴图进一步包括：

依据所述位置信息中的距离信息，对所述基础穿越效果贴图进行缩放处理；和/或，依据所述位置信息中的旋转角度信息，对所述基础穿越效果贴图进行旋转处理。

5.根据权利要求1-4任一项所述的方法，其中，所述将所述穿越效果贴图与所述第二前景图像进行融合处理，得到处理后的第t帧图像进一步包括：

将所述穿越效果贴图、所述第二前景图像与根据与第t帧图像对应的分割结果确定的第二背景图像进行融合处理，得到处理后的第t帧图像。