[发明专利]一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法

权利要求书

1.一种面向空间机械臂在轨操作的视线定位和语音控制系统，其特征在于，包括：图形用户模块、目标定位模块、语音信号采集模块、模式识别模块和控制模块；其中，图形用户模块用于用户操作选择及显示解码结果，目标定位模块用于定位操作者注视矩形块位置，语音信号采集模块用于采集四类语音信号，模式识别模块用于识别语音信号，控制模块将四类语音信号的解码结果通过UDP网络通信传入构建的Unity环境中，转换为控制信号，控制太空环境中的空间机械臂移动。

2.如权利要求1所述的面向空间机械臂在轨操作的视线定位和语音控制系统，其特征在于，图形用户模块包括按键接口模块和解码结果显示模块，当操作者点击按键接口模块中的拍照按键时，opencv调用摄像头对操作者拍照；当操作者点击按键接口模块中的定位按键时，解码结果显示模块显示注视矩形块序号；当操作者点击按键接口模块中的录音时，利用电脑自带的麦克风采集语音信号；当操作者点击按键接口模块中的动作时，解码结果显示模块显示语音信号的解码结果。

3.如权利要求1所述的面向空间机械臂在轨操作的视线定位和语音控制系统，其特征在于，目标定位模块包括图像采集模块、图像处理模块和图像识别模块，操作者注视机械臂初始位置或目标位置矩形块时，利用图像采集模块拍摄受试者人脸图像；图像处理模块利用opencv中的人眼识别分类器识别左、右眼图像，利用双线性插值原理使图像大小为130*130像素，将图像进行灰度和直方图均衡化处理；图像识别模块采用卷积神经网络和高斯过程回归得到注视矩形块序号。

4.如权利要求1所述的面向空间机械臂在轨操作的视线定位和语音控制系统，其特征在于，语音信号采集模块利用电脑自带的麦克风采集语音信号，每次采集时间持续1s，采集频率为16kHz。

5.如权利要求1所述的面向空间机械臂在轨操作的视线定位和语音控制系统，其特征在于，模式识别模块识别语音信号采集模块采集的语音信号，提取梅尔倒谱系数作为特征，采用循环神经网络进行分类，得到解码结果。

6.如权利要求1所述的面向空间机械臂在轨操作的视线定位和语音控制系统，其特征在于，控制模块包括Unity搭建的环境、空间机械臂模型和UDP网络通信，用Unity 3d平台搭建空间机械臂模型；利用UDP网络通信将模式识别模块得到的解码结果传递给Unity 3d平台，控制空间机械臂的中臂和大臂顺时针或逆时针运动。

7.一种面向空间机械臂在轨操作的视线定位和语音控制系统的控制方法，其特征在于，包括如下步骤：

S1、在Unity 3d平台中搭建一个空间机械臂，操作者注视空间机械臂初始位置，点击图形用户界面的拍照按键，操作者脸部图像，点击图形用户界面的定位按键，获取初始位置矩形块的序号，显示在屏幕上；受试者注视目标位置，点击图形用户界面的拍照按键，受试者脸部图像，点击图形用户界面的定位按键，获取目标位置矩形块的序号，显示在屏幕上；

S2、当初始位置矩形块的序号与目标位置矩形块的序号不同时，点击图形用户界面的录音按键，采集语音信号；

S3、点击图形用户界面的动作按键，提取语音信号特征，将解码结果显示在屏幕上，并将解码结果利用UDP网络通信发送到电脑中，Unity 3d读取解码结果，控制空间机械臂运动；

S4、观察空间机械臂是否到达目标位置，若到达，则结束操作，若未到达，则返回步骤S2，直到空间机械臂到达目标位置。