[发明专利]使用姿势跟踪数据针对数字视频中的对象生成分割掩模

权利要求书

1.一种用于在用于编辑数字视频的数字媒体环境中从标识的对象联合生成分割掩模的计算机实现的方法，包括：

确定与在数字视频的帧中描绘的数字对象对应的联合坐标集；

使用所述联合坐标集生成与在所述数字视频的所述帧中描绘的所述数字对象对应的联合热图；以及

使用所述联合热图生成与在所述数字视频的所述帧中描绘的所述数字对象对应的基于联合的分割掩模。

2.根据权利要求1所述的计算机实现的方法，其中确定与在所述数字视频的所述帧中描绘的所述数字对象对应的所述联合坐标集包括：使用全局姿势跟踪神经网络基于所述数字视频的所述帧来确定所述联合坐标集。

3.根据权利要求1所述的计算机实现的方法，其中使用所述联合热图生成与在所述数字视频的所述帧中描绘的所述数字对象对应的所述基于联合的分割掩模包括：使用局部分割神经网络基于所述联合热图和所述帧来生成所述基于联合的分割掩模。

4.根据权利要求3所述的计算机实现的方法，其中使用所述局部分割神经网络基于所述联合热图和所述帧来生成所述基于联合的分割掩模包括：

使用所述局部分割神经网络的多层感知器混合器层基于所述联合热图来生成针对所述数字对象的混合器编码；以及

基于所述混合器编码来生成所述基于联合的分割掩模。

5.根据权利要求3所述的计算机实现的方法，还包括：

基于所述联合坐标集，针对所述数字视频的所述帧确定与所述数字对象相关联的边界框；以及

使用所述边界框从所述数字视频的所述帧生成包括所述数字对象的裁剪帧，

其中使用所述联合热图和所述帧来生成所述基于联合的分割掩模包括：使用局部分割神经网络基于所述联合热图和所述裁剪帧来生成所述基于联合的分割掩模。

6.根据权利要求1所述的计算机实现的方法，

还包括从所述数字视频中提取所述数字视频的所述帧和所述数字视频的前一帧；以及

其中确定与在所述数字视频的所述帧中描绘的所述数字对象对应的所述联合坐标集包括：使用所述数字视频的所述帧和所述数字视频的所述前一帧来确定所述联合坐标集。

7.根据权利要求1所述的计算机实现的方法，其中使用所述联合坐标集来生成所述联合热图包括：在与所述联合坐标集相关联的每个联合点处以高斯分布为中心。

8.根据权利要求1所述的计算机实现的方法，还包括使用所述基于联合的分割掩模来修改所述数字视频的所述帧。

9.一种在其上存储指令的非暂态计算机可读介质，当所述指令由至少一个处理器执行时使计算设备：

使用姿势跟踪神经网络来确定与在所述数字视频的帧中描绘的数字对象对应的联合坐标集；

使用分割神经网络基于所述联合坐标集来生成与在所述数字视频的所述帧中描绘的所述数字对象对应的基于联合的分割掩模；以及

使用所述基于联合的分割掩模来修改所述数字视频。

10.根据权利要求9所述的非暂态计算机可读介质，其中所述指令在由所述至少一个处理器执行时使所述计算设备：

通过使用所述姿态跟踪神经网络对所述数字视频的所述帧进行全局分析来确定所述联合坐标集，由此使用所述姿态跟踪神经网络来确定所述联合坐标集；以及

通过使用所述分割神经网络基于所述联合坐标集对包含所述数字对象的所述数字视频的所述帧的一部分进行局部分析而生成所述基于联合的分割掩模，由此使用所述分割神经网络基于所述联合坐标集来生成所述基于联合的分割掩模。