[发明专利]一种估计人体姿态的方法、装置及计算机可读介质

权利要求书

1.一种估计人体姿态的方法，适用于铰接式对象模型(4)，所述铰接式对象模型(4)为由摄像机(9)观察的所述真实世界对象(14)的计算机3D模型(1)，并且所述铰接式对象模型(4)包括多个关节(2)和连杆(3)，其中铰接式对象模型(4)的人体姿态由关节(2)的空间位置定义，其特征在于该方法包括：

获取摄像机(9)记录的真实世界对象(14)的视图的视频流；

从所述视频流获得至少一个源图像序列(10)；

处理所述至少一个序列(10)的源图像，以针对每个图像提取对应的源图像片段(13)，所述对应的源图像片段(13)包括与所述图像背景分离的所述现实世界对象(14)的视图，从而能够生成至少一个源图像片段(13)序列(51)；

对于源图像片段(13)的至少一个序列的每个序列(51)，首先将该序列(51)与多个参考轮廓序列(13')进行匹配，并确定与源图像片段(13)的序列(51)最匹配的一个或多个选定的参考轮廓序列(13')；

所述参考轮廓(13')的序列(52)存储于计算机可读形式数据库中，所述每个参考轮廓(13')均与铰接式对象模型(4)相关联，并且均与所述铰接式对象模型(4)的特定参考人体姿态相关联；

两个序列(51、52)的匹配是通过将每个源图像段(13)与在其序列内相同位置的参考轮廓(13')进行匹配，并计算用来指示它们匹配程度的匹配误差，以及根据源图像段的匹配误差计算序列匹配误差来完成；

对于这些选择的参考轮廓(13')序列中的每一个序列，检索与参考轮廓(13')之一相关联的参考人体姿态；以及

根据检索到的一个或多个参考人体姿态来获取铰接式对象模型(4)的人体姿态估计结果。

2.如权利要求1所述的方法，其特征在于：

源图像序列(10)的一个图像被指定为感兴趣帧(56)，并且从其生成的源图像段(13)被指定为感兴趣的源图像段；

序列匹配误差是两个序列(51，52)匹配误差的加权和；

感兴趣的源图像片段的匹配误差的权重最大，并且随源图像片段到感兴趣的源图像片段的距离而减小；并且检索与感兴趣的源图像片段匹配的参考轮廓的参考人体姿态。

3.如权利要求1所述的方法，其特征在于：

其中，获得并处理由至少两个源摄像机(9，9')同时记录的至少两个源图像序列(10)，并且通过选择在3D空间中最符合的检索到的参考人体姿态的组合，根据从至少两个源图像序列确定的检索到的参考人体姿态来获取铰接式对象模型(4)的人体姿态估计结果。

4.如权利要求1所述的方法，其特征在于：

从至少一个连续源图像段序列确定的两个人体姿态之间建立局部一致性，每个人体姿态与至少一个源图像段(13)相关联，其中铰接式对象模型(4)的一个或两个人体姿态中的元素，即关节(2)和/或链接(3)对应于可以以模糊方式标记的真实世界对象(14)的肢体：

对于一对连续的源图像段中的每一个，根据相关联的人体姿态以及对于每个人体姿态的可能的模糊标签中的每一个，确定来自肢体的图像点在源图像段中的对应标签；

为该对连续源图像片段中的第一个选择该人体姿态的标签；

计算这对连续源图像段中的第一个和第二个之间的光流；

从光流中确定第二图像段中与第一图像段的肢体相对应的图像点已经移动到的位置，并根据第一图像段中的肢体的标记来标记第二图像段中的这些位置；

在用于根据人体姿态来标记图像点的第二图像段的人体姿态的可能的模糊标签中，选择与根据光流确定的标签一致的标签。

5.如权利要求4所述的方法，其特征在于：

在所述源图像段中标记来自肢体的图像点的步骤通过以下步骤完成：

对于一对连续的源图像段中的每一个，根据相关联的人体姿态和对于每个人体姿态的可能的模糊标签中的每一个，确定现实世界对象(14)的模型到源图像中的投影，并且由此根据在位置图像点处可见的投影肢体来标签源图像段的图像点。