[发明专利]基于AI视觉识别的飞行训练设备智能识别与警示系统

说明书

本发明属于飞行训练设备、计算机视觉识别技术领域，具体涉及一种基于AI视觉识别的飞行训练设备智能识别与警示系统，旨在解决飞行训练设备智能识别与警示系统数据来源单一、不能实现本地部署的AI算法、导致人体行为、设备运行状态识别精度差、效率低的问题。本系统包括：视频采集设备，配置为采集影像数据；数据分类单元，配置为将影像数据分类；异常行为识别单元，配置为判断人体的行为是否异常；设备异常感知单元，配置为判断设备的运行是否异常；场景翻译与人机交互单元，配置为基于场景翻译模型，实现机器对当前模拟舱内场景的基本状态描述，并采用语音的形式输出结果。本发明提升了人体行为、设备运行状态识别精度以及效率。

技术领域

本发明属于飞行训练设备、计算机视觉识别技术领域，具体涉及一种基于AI视觉识别的飞行训练设备智能识别与警示系统。

背景技术

飞行训练设备（即飞行模拟机、全动模拟机）作为飞行员培训和相应科目考试的主要设备，运行过程中，如果出现异常，对训练效果会有较大影响，同时也会影响训练进度；为保证飞行训练设备运行质量，现场维护工程师需要对飞行训练设备各系统的运行状态进行密切关注和掌握。以往，现场工程师会定时定点以巡检的方式进行检查和记录，但由于飞行训练设备系统庞杂，有驾驶舱航电系统、计算机系统、液压运动系统、视景系统等多个子系统。这种人力巡检的方式存在着费力耗时、效率低下且疏漏较大的问题。

随机技术的发展，出现了各种各样的模拟机在线监控系统，但还存在如下缺陷：

1）通过传感器的形式监控飞行训练器的静态数据，主要是对于设备的状态信息进行监控，例如温度，湿度，烟雾等参数。但是由于传感器的数据量采集少，不能实现对模拟机内运动的场景进行监控；

2）监控的信息没有通过后台大数据AI处理，数据量大，数据来源单一；

3）数据部署在阿里云，需要使用阿里云的接口协议进行编辑，不能实现本地部署的AI算法分析；

基于此，本发明提出了一种基于AI视觉识别的飞行训练设备智能识别与警示系统。

发明内容

为了解决现有技术中的上述问题，即为了解决现有飞行训练设备智能识别与警示系统数据来源单一、不能实现本地部署的AI算法、导致人体行为、设备运行状态识别精度差、效率低的问题，本发明第一方面，提出了一种基于AI视觉识别的飞行训练设备智能识别与警示系统，该系统包括：视频采集设备、远程服务器；所述视频采集设备与所述远程服务器通信连接；所述远程服务器包括数据分类单元、异常行为识别单元、设备异常感知单元、场景翻译与人机交互单元；

所述视频采集设备，配置为采集飞行训练设备各设定监测点的影像数据；所述影像数据包括二维影像数据、三维影像数据；

所述数据分类单元，配置为将各设定监测点采集的影像数据按照目标对象不同进行分类，得到包含人体的影像数据和包含设备的影像数据；

所述异常行为识别单元，配置为通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合；并基于摘要算法对所述前景特征数据集合中特征数据进行处理得到S条比对摘要数据，构建比对摘要数据集；通过预设的匹配方法将所述比对摘要数据集与预构建的人体信息数据库进行匹配，得到人体身份信息；S为正整数；

基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果；所述多模态特征包括时空特征、外观与运动特征、运动轨迹特征；

基于人体身份信息及其对应的人体的行为识别结果，与预构建的行为数据库进行匹配，判断人体的行为是否异常；

所述设备异常感知单元，配置为基于所述包含设备的影像数据，判断设备的运行是否异常；