[发明专利]一种基于虚拟现实的姿态捕获方法和装置

说明书

本发明提供了一种基于虚拟现实的姿态捕获方法和装置，涉及人工智能技术领域，通过获得第一手部姿态信息；将第一手部姿态信息输入训练模型，其中，训练模型通过多组训练数据训练获得，多组中的训练数据中的每一组训练数据均包括：第一手部姿态信息、深度图像；获得训练模型的输出信息，其中，输出信息包括手部区域轮廓信息；根据随机森林对手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于虚拟现实的姿态捕获方法和装置。

背景技术

当前虚拟化身素材制作过程中，皮肤材质的获取方式复杂，依赖于大量手工操作以及专业人员的经验，面部表情的捕获需要复杂预处理操作以获取面部基模型与图像的映射数据；佩戴头盔情况下用户表情及手势数据难以获取，虚拟现实头盔会在一定程度上遮挡用户面部，增加了用户表情获取的难度。目前虚拟化身交互模式简单，缺乏整体解决方案，虚拟化身的概念虽然早已出现但鲜有成型的可交互系统，尚缺乏整体解决方案将手势识别、眼动识别、动作捕捉等各通道数据融合处理。

但本发明申请人发现现有技术至少存在如下技术问题：

现有的虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低。

发明内容

本发明实施例提供了一种基于虚拟现实的姿态捕获方法和装置，解决了现有技术中虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低的技术问题，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。

鉴于上述问题，提出了本申请实施例以便提供一种基于虚拟现实的姿态捕获方法和装置。

第一方面，本发明提供了一种基于虚拟现实的姿态捕获方法，所述方法包括：获得第一手部姿态信息；将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。

优选地，所述离线训练包括：

获得手部3D姿态基础数据库；根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。

优选地，所述根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：

将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。

优选地，所述方法还包括：

判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。

优选地，所述判断所述第一手部部位运动序列是否符合第一预设条件，包括：

当所述第一手部部位运动序列不符合第一预设条件时，根据隐马尔可夫模型、神经网络、支持向量机进行联合预测，确定第二手势姿态重建信息。