[发明专利]基于卷积神经网络的航显设备故障检测方法及监控装置

权利要求书

1.一种基于卷积神经网络的航显设备故障检测方法，其特征在于，包括如下步骤：

步骤一，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；

步骤二，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；

步骤三，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；

步骤四，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；

步骤五，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；

步骤六，将步骤三至步骤五的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；

步骤七，将CNN故障分类器进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置；

步骤八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。

2.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，所述背景知识包括航班延误、取消和登机口变动。

3.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤一中，检测航显设备是否正常显示是一个不平衡的二分类问题，航显设备正常显示样本远远多余非正常显示样本，对正样本的采集采取运行截图，对负样本进行实地考察和预处理，构建正负样本集并送入卷积神经网络进行故障预分类训练，得到CNN预分类模型，CNN预分类模型检测出航显设备异常显示故障，对正常显示界面则进一步语义理解来检测显示信息和格式是否正确。

4.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤二中，建立航站楼语义背景下的语义理解模型，采用OCR技术先对航显屏的显示信息进行提取和校对，结合其他航显设备的显示信息进行推理分析得出符合当前场景的背景知识，检测航显设备的显示信息是否与语义背景相一致。

5.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤六中，分类器通过对不同故障情况下的特征进行提取和分析，实现对不同类型的故障进行分类。

6.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤七中，根据嵌入式设备的具体性能来评估CNN模型的算法，将模型转变为可以在SOM-RK3399嵌入式设备中直接运行的底层代码，得到基于CNN故障分类器的航显监控装置。

7.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤八中，监控装置通过HDMI-INPUT端口实时采集航显设备的输出信号，形成设备运行图像，将图像载入模型进行识别与检测，检测结果通过HDMI-OUTPUT端口输出到显示屏；监控装置通过实时检测航显设备是否处于正常工作状态，对检测设备进行状态记录，如果发现问题及时进行故障警报，保存具体的错误信息，方便技术人员进行处理。

8.一种基于卷积神经网络的航显设备故障监控装置，其特征在于：包括：

模块A，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；

模块B，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；

模块C，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；

模块D，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；

模块E，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；

模块F，将模块C、模块D和模块E的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；

模块G，将CNN故障分类器进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置；

模块H，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。