[发明专利]用于估计对象的姿势和姿态信息的系统和方法

说明书

公开了用于基于来自移动终端的视频的姿态序列的系统和方法。本发明的实施方式提供了用于姿态估计的系统和方法，包括：通过移动终端捕获视频序列，该视频序列包括多个帧；提取视频序列中对象的多个卷积特征；根据视频序列估计对象的姿势；根据估计的姿势构建多个特征的模型；根据多个特征估计对象的姿态。该系统还根据无约束视频确定关键姿态序列，其中，移动终端捕获视频序列；追踪器估计参考对象；姿态估计器根据多个特征估计对象的姿态；姿态解析单元评估估计的姿态；姿态重建单元将姿态重建到三维空间中；估算单元确定应该被添加到关键姿态序列中的估计姿态。

技术领域

本发明涉及机器视觉，特别地涉及对象的基于机器的姿势估计和姿态辨识，以根据从移动终端获得的视频产生关键姿态序列。

背景技术

在最近的十年中，无论是在算法还是在计算能力上都取得了许多突破，为人工智能(AI)发展创造了良好的环境。计算机视觉——AI最关键的子域之一——受到了这一浪潮的深刻影响。利用深度学习的力量，最先进的计算机视觉算法可以执行几乎等同于或者很快超过人类的检测和分类任务。

为了使计算机能够像人类一样执行任务，或者甚至进一步分析情况，这要求AI理解我们的实体世界。计算机视觉对于AI至关重要，因为它在通过提供视觉信息来帮助AI与我们的世界连接方面做出了巨大贡献。视觉是人类最重要的感觉，在其他所有感官中，人们最不能忍受失去视觉。

根据视觉图像、心理图像或视频序列，计算机有多种方法分析和追踪对象的姿态。一些方法是检测对象的组成部分的自下而上的方法；其他则相反，是检测整个对象的自上而下。为了检测不同水平的对象特征，检测系统可能需要许多连锁算法。但是，一些方法倾向于使用端到端算法。哪种方法是进行检测的最好方式尚无定论。对于系统来说，训练该系统需要多少数据以及该系统在检测阶段能运行多快才是重要的。

涉及到检测速度时，算法复杂度和计算能力是应当考虑的两个因素。通常，大多数计算任务都是利用一组处理单元(例如云服务器)执行的。然而，最近的一些发展证明了在移动终端上运行这种复杂任务的可能性，这开启了系统同时包括终点处理和云处理的能力。

通常，以前的方法通常依赖于假定的形状模型根据强度或深度数据来追踪运动。由于真实世界场景的复杂性和数据的固有局限性，大多数姿态估计方法的问题公式化都非常复杂(通常为非确定性多项式困难问题(NP-hard))。为了解决固有限制的问题，一些开发依赖于多个摄像机或复杂的运动感测输入设备，这极其昂贵。另外，其中一些必须设置在受限的环境诸如捕获工作室中，这严重限制了系统的应用。

因此，本领域中需要的是更高效且可移动的方案来估计人体姿态。由于完成这项任务需要大量的复杂计算，已经提出一种利用各种形式的数据的近似解法，提取信息以执行最理想的姿态估计，同时不会牺牲移动性。

发明内容

本发明提供一种根据从移动终端获得的视频来估计关键姿态序列的方法。这在三个主要方面与现有技术方法形成对比，这三个方面是：(i)依赖与单色传感器结合的深度传感器，(ii)所有数据处理必须在远程计算设备上执行，(iii)所有姿势和姿态都无差别地记录在序列中。本发明的方法消除了对专用装备诸如深度传感器和受限环境设置的需要。因此，降低了系统的总成本，这允许非工业用户买进该装备。同时，本发明选择性地在远程计算设备和移动终端上执行多级数据处理，这增强了系统的移动性。另外，本发明被设计成将来自普遍存在的视频的关键姿态和姿势信息记录成序列，而不是无差别地记录。

根据本发明的一个方面，提供了一种用于确定进入序列中的关键姿态的新系统。该系统包括至少一个计算设备，该计算设备包括硬件部件和软件程序，用于接收包括多个连续帧的无约束视频，为多个连续帧中的每个帧生成多个最佳姿态假设。该系统还包括最佳地在移动终端和远程计算设备上管理生成过程。此外，该系统包括一个或多个具有计算机可执行指令的非暂时性计算机可读介质，计算机可执行指令用于执行在计算设备上运行软件程序的方法。因此，可以选择各种过程在移动终端上执行，为将来的应用启用另外的离线功能。