[发明专利]使用姿势跟踪数据针对数字视频中的对象生成分割掩模

说明书

本公开涉及使用姿势跟踪数据针对数字视频中的对象生成分割掩模。本公开涉及针对在数字视频中描绘的数字对象生成基于联合的分割掩模的系统、方法和非暂态计算机可读介质。特别地，在一个或多个实施例中，所公开的系统使用具有姿势跟踪神经网络和分割神经网络的视频掩蔽模型来生成基于联合的分割掩模。为了说明，在一些实施例中，所公开的系统使用姿势跟踪神经网络跨数字视频的帧来标识数字对象的联合集。所公开的系统还使用分割神经网络来为使用标识联合针对描绘对象的视频帧生成基于联合的分割掩模。在一些情况下，分割神经网络包括多层感知器混合器层，以用于混合经由卷积层传播的视觉特征。

背景技术

近年来，在用于数字视频编辑的硬件和软件平台中取得了显著进步。例如，许多传统系统实现各种技术以在整个数字视频中添加文本、照明、背景修改、动画或其他数字效果。为了说明，一些传统系统针对数字视频中描绘的对象(例如，人)创建一个或多个分割掩模。这种系统使用(多个)分割掩模在对象被呈现时更好地将数字效果集成到数字视频中。

然而，尽管有这些进步，传统视频分割系统仍存在若干技术缺陷，这些缺陷导致不灵活、不准确和低效的操作。例如，许多传统系统使用初始掩模或涂鸦输入严格执行基于深度学习的数字视频对象分割。尽管一些传统系统使用视频实例分割技术在没有用户提供引导的情况下执行分割，但采用这些方法的这种系统仍然无法灵活地考虑可以通知分割的某些数据集。

除了上述的灵活性问题之外，传统视频分割系统通常不能生成准确的分割掩模。为了说明，传统系统所采用的许多视频实例分割方法并未针对视频编辑应用进行优化。此外，通常使用平均精度度量对这些方法进行评估，这将检测和跟踪优先于分割质量。因此，采用这些方法的传统系统通常提供在视频编辑应用中使用的质量较差的分割掩模。当需要具有细粒度的高质量掩模时(诸如当编辑描绘人的数字视频时)，这个问题会更加严重。另外，许多传统系统无法准确检测数字视频中的对象，通常会导致误报，从而导致进一步的分割不准确。

此外，传统视频分割系统存在效率低下的问题。实际上，对于许多传统系统，准确性和效率成反比。因此，那些确实设法生成准确性足够的分割掩模的系统这样做的速度很慢，消耗了大量的计算资源(例如，处理能力和存储器)。

这些以及附加的难题和问题存在于传统视频分割系统中。

发明内容

本文描述的一个或多个实施例用一种系统、方法和非暂态计算机可读介质来提供益处和/或解决本领域中的一个或多个前述难题，该系统、方法和非暂态计算机可读介质灵活结合在数字视频中描绘的对象的姿势信息以用于准确掩模分割。特别地，在一个或多个实施例中，系统实现了全局跟踪姿势并局部分割针对数字视频中对象(例如，人)的细粒度掩模的流水线。为了说明，在一些实施例中，该系统采用跟踪模型以通过查看整个场景来全局跟踪对象的姿势。该系统还使用局部分割模型将姿势信息利用为强大的查询来进行分割。在一些情况下，系统在分割模型内结合一个轻量的多层感知器混合器层，以在整个感兴趣的区域中传播查询姿势。以这种方式，经由结合轻量、高效的分割模型，该系统灵活地结合姿势信息以进行高质量分割。

本公开的一个或多个实施例的附加特征和优点在随后的描述中被概述，并且部分地将从描述中变得明显，或者可以通过这种示例实施例的实践而被了解。

附图说明

本公开将通过参考附图以附加的具体性和细节来描述本发明的一个或多个实施例。以下段落简要描述了这些附图，其中：

图1图示了根据一个或多个实施例的其中运行基于联合(joint)的分割系统的示例环境；

图2图示了根据一个或多个实施例的针对数字视频中描绘的数字对象生成基于联合的分割掩模的基于联合的分割系统的概览图；

图3图示了根据一个或多个实施例的生成基于联合的分割掩模的基于联合的分割系统的流水线框架；

图4图示了根据一个或多个实施例的用于针对数字对象生成基于联合的分割掩模的局部分割神经网络的神经网络架构；