[发明专利]基于多传感器融合的无人机操作员状态监视系统

摘要

一种基于多传感器融合的无人机操作员状态监视系统，包括用于对无人机进行状态监视的多种传感器，用于对各种传感器采集的数据进行处理的计算机以及进行无人机状态显示与控制的显示器；无人机操作员通过显示器了解无人机的状态并对无人机进行控制，多种传感器实时采集无人机操作员的各种状态信息，实现对无人机操作员进行状态监视，各传感器将采集到的状态信息传送给计算机进行数据处理，最终由计算机输出操作员的状态评估结果。该系统可实时评估操作员的工作状态，评估结果将用于计算无人机操作员的决策等级。该系统将有效防止“人不在回路”事件的发生，从而避免飞行事故发生，保证无人机高效、安全的完成使命任务。

主权项

1.一种基于多传感器融合的无人机操作员状态监视系统，其特征在于：包括用于对无人机操作员进行状态监视的多种传感器，用于对各种传感器采集的数据进行处理的计算机以及进行无人机状态显示与控制的显示器；无人机操作员通过显示器了解无人机的状态并对无人机进行控制，多种传感器实时采集无人机操作员的各种状态信息，实现对无人机操作员进行状态监视，各传感器将采集到的状态信息传送给计算机进行数据处理，最终由计算机输出无人机操作员的状态评估结果；所述传感器包括测量无人机操作员的姿态、面部表情的体感传感器；体感传感器检测无人机操作员头部的姿态，其姿态识别采用深度图像的识别，利用深度图像中的头部骨架进行头部姿态的识别：设头部的位置Head(x,y,z)，脖子的位置为Neck(x,y,z)，头部的水平姿态为α_H＝atan((Neck_x‑Head_x)/(Neck_y‑Head_y))(1)其中，Neck_x为脖子x坐标，Neck_y为脖子y坐标，Head_x为头部x坐标，Head_y为头部y坐标；头部的俯仰姿态为β_H＝atan((Neck_z‑Head_z)/(Neck_y‑Head_y))(2)其中，Neck_z为脖子z坐标，Head_y为头部z坐标；对于无人机操作人员，设Head_min(x,y,z)为头部位置最小值，Head_max(x,y,z)为头部位置最大值，如果头部位置超过设定的阈值即Head(x,y,z)＜Head_min(x,y,z)或者Head(x,y,z)＞Head_max(x,y,z)，则判断无人机操作员不在视场的中心位置；设T_max为最大抬头角度，T_min为最小低头角度，如果低头或者抬头超过设定的阈值时即β_H＞T_max或者β_H＜T_min，则无人机操作员低头过多或者抬头过多。