[发明专利]基于动作分解和行为分析实现实景游戏的方法

权利要求书

1.基于动作分解和行为分析实现实景游戏的方法，其特征在于按以下步骤进行：(1)在离线状态下，在游戏主机内建立人体骨架模型；(2)在离线状态下，以人体骨架模型在游戏主机内建立游戏动作库，按游戏类型分别建立动作库，并对单个语义动作进行多帧动作分解；(3)在离线状态下，对双目摄像机进行标定获取双目摄像机参数及双目摄像机极线校准；(4)在游戏主机内建立背景模型；(5)游戏者人体关键节点处佩戴特征标记物；(6)游戏主机通过双目同步摄像机及背景模型对游戏区域进行前景分割；(7)游戏主机通过双目同步摄像机初始化游戏者佩戴的特征标记物，并获取特征标记物的位置信息及对应的肢体名称，获取游戏者的身体尺寸信息并保存；(8)游戏主机通过双目同步摄像机对人脸及肤色进行检测，获取人体关键节点位置信息；(9)游戏主机通过双目同步摄像机对脸部、双手及特征标记物进行跟踪，获取游戏者感兴趣区域块而得到连续人体关键节点区域位置信息；(10)游戏主机通过双目同步摄像机对左右图像中的脸部、双手及特征标记物进行稀疏立体匹配，获取游戏者各肢体部位在左右图像上的视差信息；(11)游戏主机通过双目同步摄像机对各肢体部位空间坐标信息获取，实时获取人体3D骨架模型并进行归一化处理并获得标准人体模型；(12)游戏主机将游戏者的动作与离线动作库中动作进行匹配实现动作识别，结合单帧图像分析匹配和多帧图像分析匹配，进行动作识别，得到语义动作后传递到游戏主机的执行单元，实现实景游戏。

2.根据权利要求1所述的方法，其特征在于：所述的建立人体骨架模型主要为将人体模型中的头部、左肩、右肩、左肘、右肘、左手、右手、腹部、左髋、右髋、左膝、右膝、左脚、右脚的关健节点建立标准人体模型。

3.根据权利要求1所述的方法，其特征在于：所述的建立游戏动作库为将游戏中涉及到的动作进行捕捉并建立动作库，并根据游戏名称划分动作库，每一款游戏配置一个动作库，以文件形式保存。

4.根据权利要求1所述的方法，其特征在于：建立背景模型：在无人场景内对背景区域进行高斯混合模型建模，学习模型参数，对每个像素建立一个混合高斯分布：保证第一帧的学习率为1，初始化第一个分布后，后面按设置的学习率更新模型参数，学习过程中设定学习率小于1。

5.根据权利要求1所述的方法，其特征在于：初始化特征标记物信息：在初始化过程中，游戏者按提示摆出动作并等待游戏开始提示；根据游戏项目内容设置佩戴特征标记物部位和特征标记物个数，由于特征标记物个数已知、人体区域经过前景分割已知、特征标记物的位置已知；根据特征标记物的位置，确定在前景图像中的感兴趣区域，在该区域进行颜色聚类，且特征标记物尺寸大小已知与游戏者身体尺寸的尺寸比例已知，根据聚类区域的几何特征分析，得到特征标记物聚类结果；根据聚类区域与人体的相对位置关系，得到相应的肢体名称；根据聚类区域反推到RGB颜色空间中，获取特征标记物聚类区域的三通道直方图信息并保存；因此对于每个特征标记物获取的特征信息包括：标记区域的最小外接矩形；标记区域的中心位置，三通道直方图信息及肢体名称信息。

6.根据权利要求1所述的方法，其特征在于：对脸部、双手及特征标记物进行跟踪获取游戏者感兴趣区域块而得到连续人体关键节点区域位置信息：根据初始化过程中得到的特征标记物颜色信息和肤色特征信息，对当前观察图像进行阈值预处理，阈值设置按a)肤色特征和b)特征标记物颜色特征两个特征进行设置，合并两个阈值处理后区域，获得目标感兴趣区域块；计算检测到的目标块区域特征，与初始状态目标特征进行匹配，确定目标块区域所属肢体部位，结合卡尔曼滤波方法，对跟踪目标的位置采用线性运动模型进行预测，根据观测值的位置信息和颜色特征信息，修正预测，更新目标状态。

7.根据权利要求1所述的方法，其特征在于：游戏主机通过双目同步摄像机对左右图像中的脸部、双手及特征标记物进行稀疏立体匹配，获取游戏者各肢体部位在左右图像上的视差信息：根据左右图像中的脸部、双手和特征标记物的位置信息，选取相同区域特征点，进行特征点匹配，采用特征点匹配算法，图像经过极线校准后，有特征点左右图像在同一行的约束优势。