[发明专利]一种3D场景中输入手势的系统和方法

说明书

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种3D场景中输入手势的系统和方法。

背景技术

虚拟现实技术未来将会发展成为一种改变人们生活方式的新突破，目前，虚拟现实技术如何在虚拟世界中与目标进行互动是虚拟现实技术所面临的巨大挑战，因此虚拟现实技术想要真正进入消费级市场还有一段很长的路要走。

当前已有的各种虚拟现实装备依然阻挡着用户和虚拟世界之间的交流，在3D场景中并不能追踪身体的相关部位，比如用户的手部动作现在就无法真正模拟。

发明内容

本发明提供了一种3D场景中输入手势的系统和方法，以解决现有技术在3D场景中无法真正模拟用户手部动作的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种3D场景中输入手势的系统，所述系统包括：手势采集单元、手势识别单元、手势解析单元和手势显示单元；

所述手势采集单元，用于分别对用户的手势实时采集至少两路视频流数据；

所述手势识别单元，用于从所述至少两路视频流数据中识别出实时变化的手势形状；

所述手势解析单元，用于解析所述实时变化的手势形状，获得对应的手势动作；

所述手势显示单元，用于将所述手势动作处理成3D图像实时显示在所述3D场景中。

优选地，所述系统还包括手势操作单元，

所述手势操作单元，用于在预先设定的语义数据库中获得所述手势动作的手势语义和该手势语义对应的操作指令；以及将所述手势语义对应的操作指令发送给所述3D场景，使所述3D场景进行所述手势语义的操作。

优选地，所述手势识别单元包括：

采样模块，用于对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；

手势轮廓提取模块，用于判断所述视频图像数据中是否包含手部信息，若包含则对所述视频图像数据进行二值化处理，提取手部轮廓信息；

手势形状识别模块，用于在预先设定的手势模型数据库中识别出所述手部轮廓信息对应的手势形状；

手势形状合成模块，用于合成各路视频流数据的每次采样识别出的手势形状，得到实时变化的手势形状。

优选地，所述手势解析单元包括：

位置信息获取模块，用于获得实时变化的手势形状的相对空间位置信息；

触点信息获取模块，用于根据实时变化的手势形状上确定出的触点，获得所述实时变化的手势形状上的触点的变化信息，所述触点为标识手部的特征关键点；

手势动作获取模块，用于根据所述相对空间位置信息和所述触点的变化信息，在预先设定的动作数据库中获得相应的手势动作。

进一步优选地，所述位置信息获取模块具体用于，

从所述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；

根据所述手势形状变化的角度信息获得用户手势的距离信息，或者通过距离传感器实时感应用户手势的距离信息；

根据所述手势形状变化的角度信息和所述用户手势的距离信息获得用户手势的相对空间位置信息。

另一方面，本发明提供了一种3D场景中输入手势的方法，所述方法包括：

对用户的手势实时采集至少两路视频流数据；

从所述至少两路视频流数据中识别出实时变化的手势形状；

解析所述实时变化的手势形状，获得对应的手势动作；

将所述手势动作处理成3D图像实时显示在所述3D场景中。

优选地，所述方法还包括：

在预先设定的语义数据库中获得所述手势动作的手势语义和该手势语义对应的操作指令；

将所述手势语义对应的操作指令发送给所述3D场景，使所述3D场景进行所述手势语义的操作。

优选地，所述从所述至少两路视频流数据中识别出实时变化的手势形状包括：

对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；

判断所述视频图像数据中是否包含手部信息，若包含则对所述视频图像数据进行二值化处理，提取手部轮廓信息；

在预先设定的手势模型数据库中识别出所述手部轮廓信息对应的手势形状；

合成各路视频流数据的每次采样识别出的手势形状，得到实时变化的手势形状。

优选地，所述解析所述实时变化的手势形状，获得对应的手势动作包括：

获得实时变化的手势形状的相对空间位置信息；