[发明专利]基于手势和语音识别的遥感图像处理与展示的人机交互方法

说明书

一种基于手势和语音识别的遥感图像处理与展示的人机交互方法，包括：交互信息获取，用户身份认证，交互信息识别，交互流程生成与处理，以及遥感图像处理与展示。本方法通过Kinect阵列基于深度学习方法获取用户人脸和声纹身份信息，在数字地球上利用手势识别和语音识别构造交互命令，依据遥感知识图谱和交互上下文生成交互流程，并调用遥感图像处理服务进行处理，实现遥感图像处理与展示的智能化人机交互。本发明采用多模态的用户身份信息，可防止其他无关人员的语音和肢体在交互过程的干扰；采用手势和语音智能化交互控制，能有效提升系统交互效率和展示效果，从而有利于遥感图像软件系统的处理与展示的人性化操作。

技术领域

本发明涉及一种遥感图像处理与展示的人机交互技术，特别是基于语音和手势识别的遥感图像处理与展示的人机交互方法。

背景技术

随着高分辨率对地观测系统的发展，遥感图像处理和展示应用需要日益激增。现有的遥感图像处理和展示方法，一般采用字符命令界面或者图形用户界面，用户通过键盘和鼠标进行操作，不利于用户现场处理过程演示和执行结果可视化展示。

基于深度学习和认知计算在手势识别、语音识别等应用的发展使得人机交互呈现人性化、自然化的趋势。将手势识别和语音识别用于遥感图像处理与展示系统，可在用户进行演讲、演示和实时操控时，获得更为自然的交互体验和理想的展示效果。

发明内容

本发明的目的在于提供一种基于语音和手势识别的遥感图像处理与展示的人机交互方法。它能够克服己有技术的不足，将手势识别和语音识别用于遥感图像处理与展示系统，可在用户进行演讲、演示和实时操控时，获得更为自然的交互体验和理想的展示效果，能有效地解决现有遥感图像处理系统的在展示控制时存在的人机交互问题。

其解决方案是：本发明采用智能用户界面，提供一种基于手势和语音的遥感图像处理与展示的人机交互方法，该方法包括如下步骤：

步骤S1：交互信息获取，通过Kinect阵列获取交互用户的身份和交互的音视频信息；

步骤S2：用户身份认证，根据步骤S1采集的人脸和声纹信息，利用深度学习进行人脸识别和声纹识别，实现交互用户身份的认证识别，并记录下交互用户的身份ID；

步骤S3：交互信息识别，对通过身份认证的用户所发出的语音和手势，利用基于深度学习方法分别进行处理和识别，形成人机交互的命令及参数；

步骤S4：交互流程生成与处理，由遥感知识图谱和交互上下文，将交互命令、交互参数以及由交互选择的数据共同生成图像处理流程的实例，并依据处理流程实施处理。

步骤S5：遥感图像处理与展示，遥感图像处理和展示由若干组件化的相对独立的程序模块共同构成，具体包括用于遥感图像处理的预处理服务模块和后处理服务模块，以及数字地球的遥感图像三维展示服务模块和平面展示服务模块。

所述步骤S1的交互信息获取的方法，由以下步骤实现：

步骤S11：由Kinect阵列的RGB-D摄像头捕获用户的交互视频，并从交互视频提取用户的人脸信息和手势控制交互信息；

步骤S12：由Kinect的麦克风阵列(4Mic)录取用户的交互音频，并从交互音频提取用户的声纹信息和语音交互控制信息；从而获取交互用户的身份信息和交互命令的音视频信息。

所述步骤S2的用户身份认证方法，由以下步骤实现：

步骤S21：利用深度学习提取交互用户的人脸特征，并与用户注册时所采集的人脸身份信息进行比对和认证；

步骤S22：利用深度学习提取交互用户的声纹特征，并与用户注册时所采集的声纹身份信息进行比对和认证；

步骤S23：若人脸认证和声纹认证均成功识别，则通过用户登录，并允许进行下一步操作，并记录下交互用户的身份。