[发明专利]一种基于手势、语音、视线追踪识别的虚拟现实交互系统

权利要求书

1.一种基于手势、语音、视线追踪识别的虚拟现实交互系统，其特征在于，包括语音交互识别模块、手势交互识别模块、视觉追踪识别模块和协同处理模块：

所述语音交互识别模块用于获取语音，基于获取的语音生成对应的语音操作指令；

所述手势交互识别模块用于获取手势，基于获取的手势生成对应的手势操作指令；

所述视觉追踪识别模块用于获取视线落点，基于获取的视线落点生成对应的视觉选取操作指令；

所述协同处理模块解析语音操作指令、手势操作指令和视觉选取操作指令中的一个或多个，实现用户交互功能。

2.如权利要求1所述的基于手势、语音、视线追踪识别的虚拟现实交互系统，其特征在于，所述语音交互识别模块包括：

语音获取单元，语音获取单元通过麦克风采集连续语音；

语音文本转换单元，将获取的连续语音转换为文本内容；

文本匹配调用单元，将文本内容在数据库中匹配，基于匹配结果生成语音操作指令。

3.如权利要求2所述的基于手势、语音、视线追踪识别的虚拟现实交互系统，其特征在于，还包括语音训练记录单元，记录未匹配到答案的连续语音对应的无应答文本内容，并将无应答文本内容加入到数据库中。

4.如权利要求1所述的基于手势、语音、视线追踪识别的虚拟现实交互系统，其特征在于，所述手势交互识别模块包括：

手势识别单元，获取用户手部图像进行手势识别；

手势匹配单元，将识别到的手势与指令手势进行匹配，基于匹配结果生成手势操作指令。

5.如权利要求1所述的基于手势、语音、视线追踪识别的虚拟现实交互系统，其特征在于，所述视觉追踪识别模块包括：

眼部图像获取单元，拍摄包含用户瞳孔的RGB-D参考图像；

定位单元，定位用户瞳孔在虚拟空间中的位置；

视线识别单元，基于RGB-D参考图像获取用户瞳孔的视线，获取所述视线投射到虚拟空间的落点的坐标，基于落点在坐标生成视觉选取操作指令。

6.如权利要求5所述的基于手势、语音、视线追踪识别的虚拟现实交互系统，其特征在于，视线识别单元基于RGB-D参考图像获取用户瞳孔的视线，获取所述视线投射到虚拟空间的落点的坐标，当落点在间隔时长内处于预设空间范围内时，基于落点的坐标生成视觉选取操作指令。