[发明专利]基于虚拟现实设备的交互方法及系统

权利要求书

1.一种基于虚拟现实设备的交互方法，所述虚拟现实设备包括：用于显示虚拟场景的显示设备，以及与所述虚拟场景进行交互的交互设备，其特征在于，所述交互方法包括：

对用户的裸手进行识别，得到所述用户的裸手的手势交互数据；

获取所述交互设备的控制交互数据；

根据所述手势交互数据和所述控制交互数据对所述虚拟场景进行处理，使所述虚拟场景进入中间交互状态；

采集所述用户的语音，对所述语音进行识别和处理，得到语音交互数据；

根据所述语音交互数据对进入所述中间交互状态后的所述虚拟场景进行处理，使所述显示设备显示处理后的所述虚拟场景；

其中，所述中间交互状态为所述虚拟场景对控制指令暂不响应，并接收其他控制指令的状态。

2.根据权利要求1所述的交互方法，其特征在于，所述对用户的裸手进行识别，得到所述用户的裸手的手势交互数据，具体包括：

获取用户的裸手的深度图像；

对所述深度图像进行手势区域分割处理，得到手势区域；

从所述手势区域中提取所述用户的裸手手势的特征，得到手势特征；

对所述手势特征进行识别，得到手势交互数据。

3.根据权利要求2所述的交互方法，其特征在于，所述对所述深度图像进行手势区域分割处理，得到手势区域，具体包括：

将所述深度图像转换为灰度图像；

将所述灰度图像转换为灰度直方图；

对所述灰度直方图进行阈值分割处理，得到手势区域。

4.根据权利要求1至3中任一项所述的交互方法，其特征在于，所述获取所述交互设备的控制交互数据，具体包括：

获取所述交互设备的控制指令；

获取所述交互设备的空间位置数据；

根据所述控制指令和所述空间位置数据得到控制交互数据。

5.根据权利要求1至3中任一项所述的交互方法，其特征在于，所述采集所述用户的语音，对所述语音进行识别和处理，得到语音交互数据，具体包括：

采集所述用户的语音，将所述语音转换为文字；

对所述文字进行语义解析处理，识别出所述文字中包含的交互动作，得到所述交互动作的词条数据；

根据所述词条数据得到语音交互数据。

6.一种基于虚拟现实设备的交互系统，所述虚拟现实设备包括：用于显示虚拟场景的显示设备，以及与所述虚拟场景进行交互的交互设备，其特征在于，所述交互系统包括：

手势识别模块，用于对用户的裸手进行识别，得到所述用户的裸手的手势交互数据；

交互设备识别模块，用于获取所述交互设备的控制交互数据；

第一处理模块，用于根据所述手势交互数据和所述控制交互数据对所述虚拟场景进行处理，使所述虚拟场景进入中间交互状态；

语音识别模块，用于采集所述用户的语音，对所述语音进行识别和处理，得到语音交互数据；

第二处理模块，用于根据所述语音交互数据对进入所述中间交互状态后的所述虚拟场景进行处理，使所述显示设备显示处理后的所述虚拟场景；

其中，所述中间交互状态为所述虚拟场景对控制指令暂不响应，并接收其他控制指令的状态。

7.根据权利要求6所述的交互系统，其特征在于，所述手势识别模块包括：

手势获取子模块，用于获取用户的裸手的深度图像；

手势分割子模块，用于对所述深度图像进行手势区域分割处理，得到手势区域；

特征提取子模块，用于从所述手势区域中提取所述用户的裸手手势的特征，得到手势特征；

特征识别子模块，用于对所述手势特征进行识别，得到手势交互数据。

8.根据权利要求7所述的交互系统，其特征在于，所述手势分割子模块具体用于将所述深度图像转换为灰度图像，并将所述灰度图像转换为灰度直方图，并对所述灰度直方图进行阈值分割处理，得到手势区域。