[发明专利]基于Kinect的无人机操作员状态监视与分层控制方法

摘要

本发明提供一种基于Kinect的无人机操作员状态监视与分层控制方法，采用微软交互式传感器Kinect，该传感器包括深度传感器、可见光图像传感器和语音阵列传感器等。当无人机操作人员处理负载过重或者长时间工作时，可以通过眼睛的闭合时间以及头部的朝向进行判断。当无人机操作员处在不同的心情状态时，其面部表情也会处于不同的状态。手势、姿态可实时测量无人机操作员当前的行为。可以通过语音、手势等实现分层控制，该方法既可以适用于单无人机控制站，也可以适用于多无人机控制站，能够实时掌握操作员的工作状态，并可以发出多层次的控制指令，简单直观方便地为操作员与多无人机之间进行交互控制提供手段。

主权项

1.一种基于Kinect的无人机操作员状态监视与分层控制方法，其特征在于，包括以下步骤：步骤一：基于微软交互式传感器Kinect的无人机操作员状态监视；微软交互式传感器Kinect包括进行无人机操作员的手势、姿态识别的深度图像传感器，进行面部表情及头部方位识别的可见光图像传感器，进行语音识别和语音合成的语音阵列传感器；利用微软交互式传感器Kinect的可见光图像传感器提取无人机操作员的面部表情和眼睛闭合程度，其中无人机操作员的面部表情用于识别操作员的心情和状态监测，无人机操作员的眼睛闭合程度用于操作员疲劳度的检测；利用微软交互式传感器Kinect的深度图像传感器采集的深度图像信息提取无人机操作员的姿态特征，其中利用深度图像中的头部骨架进行头部姿态的识别，利用深度图像中的手部骨架进行手势识别；步骤二：基于微软交互式传感器Kinect的无人机操作员分层控制无人机；分层次控制包括高层监督控制层和低层监督控制层；高层监督控制层利用语音识别负责用户交互、目标管理、任务/路径规划与执行监视；低层监督控制层则利用手势的实时检测负责直接接管无人机和操控无人机飞向指定区域；步骤三：实时可见光图像与骨架图像融合，对无人机操作员的身份确认，无人机操作员更加直观的判断自己的当前状态信息。