[发明专利]用于识别候选视频插入对象类型的机器学习

说明书

本方法申请提供了使用机器学习识别候选视频插入对象类型的方法、系统和计算机程序。机器学习用于处理源视频的场景的若干帧的图像内容的至少一部分。该处理包括识别候选插入区以及确定所识别的候选插入区的插入区描述符，所述候选插入区用于将一个对象插入到若干帧中的至少一些帧的图像内容中，所述插入区描述符包括候选对象类型，所述候选对象类型表示适合插入所述候选插入区的对象的类型。

技术领域

本申请涉及用于处理源视频的场景的若干帧的图像内容的系统、方法、软件、装置，及用于训练该 系统的装置。

背景技术

随着数字文件处理的出现，可将对象数字插入(本申请中也称为“嵌入”)到视频中。在视频中数字 插入对象可具有许多优点，例如，增强视频的视觉效果，或改善视频的真实感，或允许视频在拍摄后更 灵活，这意味着在拍摄场景的阶段对于场景中要包含的对象需要做的决定更少。因此，数字对象插入正 变得越来越普遍并被视频制作者用于各种用途。

目前，数字对象插入通常需要许多处理阶段。虽然下面会做进一步描述，但这些可以大致分为：

1.切变(cut)检测；

2.相似镜头的融合和分组；

3.插入机会(在文中可与插入区互换)检测；

4.插入区的背景(context)特性；和

5.插入区和插入对象之间的匹配。

切变检测

一个节目通常可以是半小时或一小时的展示，节目素材被分解成若干镜头。镜头是不包括任何编辑 点的连续帧序列，即它们通常保持一致性，表明它们是由单台摄相机记录的。

镜头通过切变分界，在切变处通常摄相机停止录制、或者将素材编辑为产生这一感觉。从广义上讲， 有两种类型的切变：“硬”切变和“软”切变。例如，当连续帧之间的视觉相似性突然中断时，检测到硬 切变，指示编辑点或相机角度的变化。软切变对应于软转换的开始或结束，例如擦除或淡入淡出转换， 其具有跨过若干帧的视频的视觉外观显著但逐渐改变的特点。

首先，可能需要分析源视频素材(例如节目素材)，并找到适合对象插入的场景。这通常被称为预分 析道次，最好通过将源视频划分为若干场景，特别是划分为从相同摄像机位置拍摄的若干场景来完成。 通常可以使用镜头变化检测将视频素材自动分割成若干场景。视频分析模块可以自动检测不同镜头之间 的分别对应于硬转换和软转换的硬切变和软切变。

相似镜头的融合与分组

一旦检测到一个或多个镜头，也可以在进一步的处理步骤中应用连续性检测，以识别已在源视频中 检测到的类似的镜头。以这种方式，当在一个镜头中识别出插入机会时，镜头相似性算法可以识别可能 存在相同机会的其他镜头。

插入区检测

源视频内容中适合于插入其他素材的图像区域被称为插入区，且这些区域大致可分为表面和物体。 通常，表面可适合于素材的插入。例如，在有墙的情况下，可以添加海报。在有桌子的情况下，可以插 入如饮料的物体。当一个物体被识别为插入区时，插入素材的机会可能涉及重新标记在产品上标识的任 何品牌标志、用属于同一类物体的另一个物体替换该物体，或者靠近该物体添加另一个相似物体。

通过跟踪整个源视频素材中的一致移动像素，可以进行并改进插入区检测。基于图像的跟踪技术包 括但不限于平面跟踪算法，以计算并模拟源视频中每个图像的二维变换。

插入区的背景特性

可能需要操作员评估所识别的插入区并为可插入其中的可能的其他素材提供背景。随着通过因特网 广播或流式传输的数字视频内容量的快速增加，人类操作员无法比实时更快地处理插入机会以识别背景 可能是一个问题。

插入区和产品类别之间的匹配