[发明专利]基于视频的实时人体动作跟踪方法和系统

权利要求书

1.一种基于视频的实时人体动作跟踪方法，其特征在于，包括：

对采集到的多视角视频数据进行同步，并建立一多关节描述的三维人体模型；

对所述视频数据进行摄像机标定，计算各视角的投影矩阵；

检测视频图像中的运动区域，在检测到的运动区域内提取感兴趣的图像底层特征；

根据所计算的各视角的投影矩阵，将已建立的所述三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；

利用所述模型图像和提取到的所述图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；

对所述目标函数进行求解，得到当前时刻跟踪到的人体运动姿态。

2.根据权利要求1所述的基于视频的实时人体动作跟踪方法，其特征在于，在检测到的运动区域内提取到的所述图像底层特征包括运动区域图像的灰度特征、边界特征、外轮廓特征和人体肤色特征中的任意一种或多种。

3.根据权利要求1所述的基于视频的实时人体动作跟踪方法，其特征在于，对所述视频数据进行摄像机标定的方法为：

在地面上摆设4个定标物，4个所述定标物在同一平面上构成一四边形；

记录所述四边形的各边的长度，并建立世界坐标系；

获得摄像机定标内参数；

从摄像机拍摄的视频中选取一帧包含所有所述定标物的图像作为外参定标图像；

对所述外参定标图像进行畸变校正后，人为确定所述外参定标图像上的各所述定标物的十字中心位置，得到作为所述四边形的各个顶点的各所述定标物的世界坐标和对应的图像坐标，并构造摄像机定标目标函数；

对所述摄像机定标目标函数进行求解，得到摄像机定标的外参数。

4.根据权利要求3所述的基于视频的实时人体动作跟踪方法，其特征在于，所述摄像机定标目标函数通过以下公式表达：

A和R分别表示摄像机定标的内参数矩阵和外参数矩阵；

r＝[r_x,r_y,r_z]^T，表示外参数矩阵的旋转向量；

t＝[t_x,t_y,t_z]^T，表示外参数矩阵的平移向量；

X_i表示各所述定标物的世界坐标；

x_i表示各所述定标物对应的图像坐标；

i表示第i个所述定标物；

n表示所述定标物的数量。

5.根据权利要求4所述的基于视频的实时人体动作跟踪方法，其特征在于，采用GaussNewton非线性最小二乘优化算法求解得到外参数矩阵的旋转向量r和平移向量t。

6.一种基于视频的实时人体动作跟踪系统，可实现如权利要求1～5任意一项所述的实时人体动作跟踪方法，其特征在于，包括：

视频数据同步模块，用于对采集到的多视角视频数据进行同步；

三维人体模型建立模块，用于建立一多关节描述的三维人体模型；

摄像机标定模块，用于对所述视频数据进行摄像机标定，计算各视角的投影矩阵；

运动区域检测模块，连接所述视频数据同步模块，用于检测视频图像中的运动区域；

图像底层特征提取模块，连接所述运动区域检测模块，用于在检测到的所述运动区域中提取感兴趣的图像底层特征；

肤色检测区域，连接所述视频数据同步模块，用于检测视频图像中的肤色区域；

模型投影模块，分别连接所述三维人体模型建立模块和所述摄像机标定模块，用于将已建立的所述三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；

人体动作跟踪目标函数构建模块，分别连接所述图像底层特征提取模块和所述模型投影模块，用于利用所述模型图像和提取到的所述图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；

目标函数求解模块，连接所述人体动作跟踪目标函数构建模块，用于对所述目标函数进行求解，得到当前时刻的人体运动姿态。