[发明专利]基于卷积神经网络的航显设备故障检测方法及监控装置

说明书

本发明公开了一种基于卷积神经网络的航显设备故障检测方法及监控装置，包括：一，采集航显设备的界面，并对显示界面进行预分类；二，设计语义理解模型，构建卷积神经网络，对航显设备显示界面进行语义理解；三，对非正常情况下的界面进行分类；四，对于正常显示的航显界面进行语义理解，检测是否出现故障；五，对不能理解的符号、图标进行分析；六，将故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练；七，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态。

技术领域

本发明属于图像处理技术技术领域，特别是涉及一种基于卷积神经网络的航显设备故障检测方法及监控装置。

背景技术

随着乘机出行需求的日益增加及出行标准的逐步提高，越来越多的机场开始实施“无纸化”出行，旅客可以通过自助值机、自助行李托运及自助登机等触控显示设备进行全流程自助服务；此外，航站楼显示系统负责为旅客提供全方位的信息指引，用于面向旅客提供航班信息、公告信息、服务信息等等，航显设备分散在航站楼的各个区域，航显设备的增多同时也伴随着显示设备故障等问题。航显设备故障不仅直接影响航显系统提供信息的及时性、准确性，给旅客出行带来极大不便；由于航显屏的可触控性，设备故障还存在极大安全隐患，如后台信息泄露、旅客误操作等等。因此，如何及时发现航显设备的故障成为机场管理方十分重视的问题。

传统的航显设备故障检测多采用人工巡检的方式，但是人工巡检存在巡检频率低、巡检效果不佳、人力成本高等缺点。由于技术有限，以往对于航显设备故障问题的智能化检测依赖于建立标准数据库，内容更新慢，维护成本高；采用特征点比对技术对数据库中的标准航显图片和待检测航显图片进行比对来检测显示屏状态，这种检测方式不能适应日益增长的需求和多样化的显示界面用例。基于深度学习的方法能够提取复杂的特征信息，避免了人工确定故障特征的局限性，降低了因特征提取方法的不同而导致的故障检测的不确定性。同时通过批量的数据训练实现不同故障类型的自学习和特征自提取过程，网络模型可以提取到不容易被人工注意到的特征，具有很强的实用性和通用性。同时，通过建立语义模型对航显图片进行理解，可以更好的判断航显屏显示状态和对故障情况分类。

发明内容

本发明为解决机场运营中存在的显示设备故障问题而提供一种基于卷积神经网络的航显设备故障检测方法及监控装置；本发明可以对航显设备进行实时信号采集以及故障检测与分类，大大减少了机场的人力资源消耗，提高了故障检测的效率。

技术方案

本发明的第一目的是提供一种基于卷积神经网络的航显设备故障检测方法，包括：

步骤一，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；

步骤二，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；

步骤三，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；

步骤四，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；

步骤五，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；

步骤六，将步骤三至步骤五的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；