[发明专利]一种仪器仪表智能运维的多模态故障理解及辅助标注方法

说明书

本发明提供一种仪器仪表智能运维的多模态故障理解及辅助标注方法，步骤为：采集仪器仪表故障时反馈的图像、声音和文本数据，分别对采集的图像、音频和文本数据进行预处理，对预处理后的图像数据、音频数据、文本数据进行特征提取，采用基于多模态量子启发神经网络对提取的图像、音频、文本特征进行融合；利用提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练；将训练好的模型加载到仪器仪表智能运维平台后端，将多模态故障数据传入API，经过模型推理，返回标注集合；本发明通过多模态量子启发深度网络模型对图像、语音、文本特征进行融合，通过融合编码特征对仪器仪表的故障进行理解，并对故障反馈信息进行自动标注，实用性强。

技术领域

本发明涉及仪器仪表智能运维技术领域，特别是一种仪器仪表智能运维的多模态故障理解及辅助标注方法。

背景技术

随着人工智能技术的蓬勃发展，传统工业逐步向智能化、无人化转型，大幅度提高了社会生产力及生产效率。仪器仪表是保障工厂安全可靠运行的基础性设施，但随着工厂规模的不断扩大，大规模的仪器仪表设备被投入生产线，然而，对大量的仪器仪表设备维护是一项重要且具有挑战性的任务，幸运的是，人工智能技术的快速发展为仪器仪表的智能运维带来了新机。

纵观目前仪器仪表智能运维平台架构，对于来自边缘端的故障反馈信息处理还没有高效的处理方法，鉴于运维平台终端接受到的反馈信息具有多模态特性，如图像、语音和文本等，且所接受的故障反馈信息来自不同的仪器仪表或设备，目前大多采取人工分类的处理方式进行标注分流，显然这将耗费大量的人力成本。

发明内容

本发明的目的就是提供一种仪器仪表智能运维的多模态故障理解及辅助标注方法。

本发明的目的是通过这样的技术方案实现的，具体步骤如下：

1)数据采集：采集仪器仪表故障时反馈的图像、声音和文本数据，并组织成字典{'image':[img1,img2,…],'voice':[v1,v2,…],'text':[t1,t2,…]}，其中：image、voice、text分别为图像、音频和文本三种模态；

2)数据预处理：分别对步骤1)中采集的图像、音频和文本数据进行预处理，得到预处理后的图像、音频和文本数据；

3)特征提取：采用基于PatchConvNet模型对步骤2)中预处理后的图像数据进行图像特征提取，采用基于一维扩张卷积预对步骤2)中处理后的音频数据进行音频特征提取，采用基于GRU单元的双向循环网络对步骤2-3)中预处理后的文本进行文本特征提取；

4)构建模型：采用基于多模态量子启发神经网络对步骤3)中提取的图像特征、音频特征和文本特征进行融合，得到融合编码特征；

5)模型训练：使用自编码训练与多任务训练的方式对图像、音频、文本特征的提取模型进行训练，利用步骤3)提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练；

6)辅助标注：将训练好的三种模态数据的特征提取网络模型以及多模态量子启发深度网络模型加载到仪器仪表智能运维平台后端，将仪器仪表多模态故障数据传入API，经过模型推理，返回标注集合，实现辅助标注。

进一步，步骤2)中数据预处理的具体步骤为：

2-1)对步骤1)中采集的图像数据进行自适应裁剪和方形填充，然后对图像进行缩放归一化，保持图像比例不变，最后对列表中的图像进行去重过滤；

2-2)采用基于启发式双重优化PCD算法对步骤1)中采集的音频数据进行降噪，对降噪后的音频片段进行中心裁剪或者对称填充；

2-3)基于完备专业性词向量空间对步骤1)中采集的文本数据进行关键词提取，并将关键词转换成向量形式，得到关键词向量矩阵。

进一步，步骤3)中特征提取的具体步骤为：