[发明专利]基于主成分分析的空中交通管制员疲劳检测方法、装置和系统

说明书

本发明提供一种空中交通管制员疲劳检测方法、装置和系统，所述方法包括：步骤1，接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；步骤2，对所述管制席位视频监控数据和陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；步骤3，利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数，若超出一定范围，则触发告警。该疲劳检测方法、装置和系统，集成了面部和语音特征，能够应用于空中交通管制领域，具有较强的实用性和可操作性。

技术领域

本发明提供一种集成了面部和语音的空中交通管制员疲劳检测系统，属于图像处理与模式识别技术领域。

技术背景

目前，针对管制员疲劳的相关研究主要从两个方面进行，即基于面部识别的管制员疲劳检测，以及基于工作负荷评估的管制员疲劳检测。前者基于对管制员面部特征的解析，得到PERCLOS值、平均闭眼时长、哈欠频率等三个疲劳检测指标的数据，通过匹配管制员疲劳判定的三个指标所对应的阈值，对管制员疲劳进行检测。而后者基于管制员工作负荷评估研究，自20世纪70年代以来陆续演化出了三类管制员疲劳检测方法，即：(1)根据管制员生理、行为特征分析，得出管制工作负荷强度。如申请号为CN102406507B给出了一种基于人体生理信号的驾驶员疲劳监测方法，其通过采集人体生理信号，采用主成分分析方法建立权重向量，计算马氏距离，判断是否处于疲劳程度；(2)采取观察和问卷形式的主观测评方法，如ATWIT、NASA-TLX量表、SWAT量表和MCH法等；(3)将管制员工作进行细分，对于看得见的工作测计所消耗的时间，对于看不见的工作转化为时间上的消耗，以时间度量方式实现对管制员工作负荷的定量评估。此类方法包括ICAO推荐的DORATASK法和MBB法，以及RAMS法。

既有针对管制员疲劳检测的研究，主要存在以下不足：(1)研究方法方面，定性研究较多，定量研究较少，客观性不足；(2)检测指标方面，指标维度较为单一，全面性、综合性不足；(3)现有研究对所有管制员采用相同指标检测标准，忽视了疲劳指标的个体差异性，检测结果不够准确；(4)应用性方面，面向空中交通管制单位的实际工程应用少。由于上述不足，导致目前国内外对于管制员疲劳检测的研究在客观性、全面性、综合性、准确性和可操作性等方面均有所欠缺。

发明内容

为了克服现有技术中存在的缺点，本发明提供一种空中交通管制员疲劳检测方法、装置、系统，所述方法包括：步骤1，接收管制席位实时音视频全数据采集平台获取的管制席位视频监控数据和陆空通话数据；步骤2，对所述管制席位视频监控数据和陆空通话数据进行检测分析，得到管制员疲劳指标检测数据，包括：PERCLOS值、平均闭眼时长、打哈欠频率、信道占用率、通话次数、平均音频、平均音强、扇区陆空通话关键词出现率；步骤3，利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数。

优选的，接收所述管制席位视频监控数据的过程为，实时采集视频信息，进行降噪、滤波处理后，提取特征值。

优选的，提取特征值后，与视频模板库中已保存的模板数据进行匹配，从而对当前管制员的身份进行识别。

优选的，其特征在于：接收所述陆空通话数据的过程为，采用电缆线将语音信号从配线架引接至语音处理器，当检测到声音信号时，开始录音，当检测到没有声音且持续3秒，则停止录音，即完成一次录音，每完成一次录音，将声音信息以音频文件格式保存。

优选的，步骤1后还包括将所述管制席位视频监控数据和陆空通话数据进行同步的步骤，具体为：以视频数据的时间戳为时间基准，播放的过程中音频播放线程实时接收视频播放线程传输过来的当前播放时间数据，并同步调整音频播放数据，将管制席位视频监控数据和陆空通话数据进行同步播放，实现实时播放和历史回放。

优选的，步骤2中对所述管制席位视频监控数据进行检测分析，得到的管制员疲劳指标检测数据包括PERCLOS值、平均闭眼时长和打哈欠频率。