[发明专利]塔台管制员工作状态的检测方法、装置及系统

权利要求书

1.一种塔台管制员工作状态的检测方法，其特征在于，包括：

采集塔台管制员的语音数据，并从所述语音数据中提取关键词；

获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；

确定与所述关键词对应的预设的塔台管制员的注视区域，若所述注视区域与所述预设的塔台管制员的注视区域的交叠区域大于或者等于阈值，则确定所述塔台管制员正确完成观察动作；

其中，从所述视频图像中获取所述塔台管制员的注视区域，包括：

通过预设的人脸模型提取所述视频图像的特征点，所述特征点用于表征所述塔台管制员的人脸信息；

将所述特征点与三维头部模型匹配，得到头部位置姿态数据；

根据所述特征点确定人眼区域，并根据所述人眼区域获取所述塔台管制员的视线方向；

根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。

2.根据权利要求1所述的方法，其特征在于，从所述语音数据中提取关键词，包括：

提取所述塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出所述关键词。

3.根据权利要求1所述的方法，其特征在于，从所述语音数据中提取关键词，包括：

将所述塔台管制员的语音数据输入语音模型，通过所述语音模型识别出所述关键词，其中所述语音模型是通过预设的语音数据训练或分析建模得到的。

4.根据权利要求1所述的方法，其特征在于，从所述视频图像中获取所述塔台管制员的注视区域，包括：

将所述塔台管制员的视频图像输入预设训练模型，直接学习获得所述塔台管制员的视线方向和头部位置姿态数据；

根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。

5.根据权利要求1所述的方法，其特征在于，在确定与所述关键词对应的预设的塔台管制员的注视区域，若所述注视区域与所述预设的塔台管制员的注视区域的交叠区域大于或者等于阈值，则确定所述塔台管制员正确完成观察动作之后，还包括：

若确定所述塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；所述预设的方式包括：图像、文本、语音中的任一或任多组合。

6.一种塔台管制员工作状态的检测装置，其特征在于，包括：

采集模块，用于采集塔台管制员的语音数据，并从所述语音数据中提取关键词；

获取模块，用于获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；

检测模块，用于确定与所述关键词对应的预设的塔台管制员的注视区域，若所述注视区域与所述预设的塔台管制员的注视区域的交叠区域大于或者等于阈值，则确定所述塔台管制员正确完成观察动作；

其中，从所述视频图像中获取所述塔台管制员的注视区域，包括：

通过预设的人脸模型提取所述视频图像的特征点，所述特征点用于表征所述塔台管制员的人脸信息；

将所述特征点与三维头部模型匹配，得到头部位置姿态数据；

根据所述特征点确定人眼区域，并根据所述人眼区域获取所述塔台管制员的视线方向；

根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。

7.根据权利要求6所述的装置，其特征在于，从所述语音数据中提取关键词，包括：

提取所述塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出所述关键词。

8.根据权利要求6所述的装置，其特征在于，从所述语音数据中提取关键词，包括：

将所述塔台管制员的语音数据输入语音模型，通过所述语音模型识别出所述关键词，其中所述语音模型是通过预设的语音数据训练或分析建模得到的。