[发明专利]一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法

说明书

本发明公开了一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法，系统包括：图形用户模块、目标定位模块、语音信号采集模块、模式识别模块和控制模块；方法具体为：当操作者注视Unity环境中构建的虚拟太空环境下空间机械臂末端所在的矩形块时，固定在屏幕上方的照相机拍摄操作者照片，解码空间机械臂末端所在位置；操作者注视目标位置，采用相同方法解码目标位置所在的矩形块；用电脑自带的麦克风采集四类语音信号并解码，将解码结果通过UDP网络通信传入构建的Unity环境中，转换为控制信号，控制虚拟太空环境中的空间机械臂移动至目标位置。本发明能够实现空间机械臂在轨操作，达到较好的人‑机交互效果。

技术领域

本发明涉及人机交互智能控制技术领域，尤其是一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法。

背景技术

空间站作为航天站，是一种放置在太空中、固定在轨道上长期运行的巨型卫星，以载人从事各种太空活动，形成多用途航天中心。在实际运行中，空间站可以和多个航天器进行同时对接，形成大型轨道联合体。空间站的多种优势除了用于科学实验，还被应用在军事领域中，具有独特的军事应用功能，空间机器臂对于空间站的正常运行起着巨大的作用。

早期的空间站舱外空间机械臂控制通过键盘、按钮和示教盒进行的，操作复杂，只能完成简单任务。近几年，人机交互应用于国际空间站在轨操作，人机交互技术的研究核心是利用新型交互逻辑实现人体行为机能增强，建立异源多模态的人机交互范式，实现人与装备之间智能、自然的人机交互能力，建立一体化协同的信息流通机制。北京空间飞行器总体设计部研究人员提出了一种在轨人机交互系统。该系统的体系构架主要包括传感层、感知层和行为层三部分，感知层中有多源传感器能实时获取有效的视觉、听觉等多模态信息，感知层能进行各种特征分类、挖掘等复杂的运算，行为层则利用输入的指令直接驱动机器臂末端执行机构执行各项空间任务。

发明内容

本发明所要解决的技术问题在于，提供一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法，消除了航天员由于在空间失重环境下身体不便或环境受限等原因在与空间机械臂进行交互时遇到的输入障碍，具有较高的控制可靠性。

为解决上述技术问题，本发明提供一种面向空间机械臂在轨操作的视线定位和语音控制系统，包括：图形用户模块、目标定位模块、语音信号采集模块、模式识别模块和控制模块；其中，图形用户模块用于用户操作选择及显示解码结果，目标定位模块用于定位操作者注视矩形块位置，语音信号采集模块用于采集四类语音信号，模式识别模块用于识别语音信号，控制模块将四类语音信号的解码结果通过UDP网络通信传入构建的Unity环境中，转换为控制信号，控制太空环境中的空间机械臂移动。

优选的，图形用户模块包括按键接口模块和解码结果显示模块，当操作者点击按键接口模块中的拍照按键时，opencv调用摄像头对操作者拍照；当操作者点击按键接口模块中的定位按键时，解码结果显示模块显示注视矩形块序号；当操作者点击按键接口模块中的录音时，利用电脑自带的麦克风采集语音信号；当操作者点击按键接口模块中的动作时，解码结果显示模块显示语音信号的解码结果。

优选的，目标定位模块包括图像采集模块、图像处理模块和图像识别模块，操作者注视机械臂初始位置或目标位置矩形块时，利用图像采集模块拍摄受试者人脸图像；图像处理模块利用opencv中的人眼识别分类器识别左、右眼图像，利用双线性插值原理使图像大小为130*130像素，将图像进行灰度和直方图均衡化处理；图像识别模块采用卷积神经网络和高斯过程回归得到注视矩形块序号。

优选的，语音信号采集模块利用电脑自带的麦克风采集语音信号，每次采集时间持续1s，采集频率为16kHz。

优选的，模式识别模块识别语音信号采集模块采集的语音信号，提取梅尔倒谱系数作为特征，采用循环神经网络进行分类，得到解码结果。