[发明专利]基于手势和语音识别的遥感图像处理与展示的人机交互方法

摘要

一种基于手势和语音识别的遥感图像处理与展示的人机交互方法，包括：交互信息获取，用户身份认证，交互信息识别，交互流程生成与处理，以及遥感图像处理与展示。本方法通过Kinect阵列基于深度学习方法获取用户人脸和声纹身份信息，在数字地球上利用手势识别和语音识别构造交互命令，依据遥感知识图谱和交互上下文生成交互流程，并调用遥感图像处理服务进行处理，实现遥感图像处理与展示的智能化人机交互。本发明采用多模态的用户身份信息，可防止其他无关人员的语音和肢体在交互过程的干扰；采用手势和语音智能化交互控制，能有效提升系统交互效率和展示效果，从而有利于遥感图像软件系统的处理与展示的人性化操作。

主权项

一种基于手势和语音识别的遥感图像处理与展示的人机交互方法，其特征在于，包括以下步骤：步骤S1：交互信息获取，通过Kinect阵列获取交互用户的身份和交互的音视频信息；步骤S2：用户身份认证，根据步骤S1采集的人脸和声纹信息，利用深度学习进行人脸识别和声纹识别，实现交互用户身份的认证识别，并记录下交互用户的身份ID；步骤S3：交互信息识别，对通过身份认证的用户所发出的语音和手势，利用基于深度学习方法分别进行处理和识别，形成人机交互的命令及参数；步骤S4：交互流程生成与处理，由遥感知识图谱和交互上下文，将交互命令、交互参数以及由交互选择的数据共同生成图像处理流程的实例，并依据处理流程实施处理；步骤S5：遥感图像处理与展示，遥感图像处理和展示由若干组件化的相对独立的程序模块共同构成，具体包括用于遥感图像处理的预处理服务模块和后处理服务模块，以及数字地球的遥感图像三维展示服务模块和平面展示服务模块。