[发明专利]一种仪器仪表智能运维的多模态故障理解及辅助标注方法

权利要求书

1.一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，具体步骤如下：

1)数据采集：采集仪器仪表故障时反馈的图像、声音和文本数据，并组织成字典{'image':[img1,img2,…],'voice':[v1,v2,…],'text':[t1,t2,…]}，其中：image、voice、text分别为图像、音频和文本三种模态；

2)数据预处理：分别对步骤1)中采集的图像、音频和文本数据进行预处理，得到预处理后的图像、音频和文本数据；

3)特征提取：采用基于PatchConvNet模型对步骤2)中预处理后的图像数据进行图像特征提取，采用基于一维扩张卷积预对步骤2)中处理后的音频数据进行音频特征提取，采用基于GRU单元的双向循环网络对步骤2-3)中预处理后的文本进行文本特征提取；

4)构建模型：采用基于多模态量子启发神经网络对步骤3)中提取的图像特征、音频特征和文本特征进行融合，得到融合编码特征；

5)模型训练：使用自编码训练与多任务训练的方式对图像、音频、文本特征的提取模型进行训练，利用步骤3)提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练；

6)辅助标注：将训练好的三种模态数据的特征提取网络模型以及多模态量子启发深度网络模型加载到仪器仪表智能运维平台后端，将仪器仪表多模态故障数据传入API，经过模型推理，返回标注集合，实现辅助标注。

2.如权利要求1所述的一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，步骤2)中数据预处理的具体步骤为：

2-1)对步骤1)中采集的图像数据进行自适应裁剪和方形填充，然后对图像进行缩放归一化，保持图像比例不变，最后对列表中的图像进行去重过滤；

2-2)采用基于启发式双重优化PCD算法对步骤1)中采集的音频数据进行降噪，对降噪后的音频片段进行中心裁剪或者对称填充；

2-3)基于完备专业性词向量空间对步骤1)中采集的文本数据进行关键词提取，并将关键词转换成向量形式，得到关键词向量矩阵。

3.如权利要求2所述的一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，步骤3)中特征提取的具体步骤为：

3-1)图像特征提取：将图像数据输入PatchConvNet模型中，采用循环前向传播，再对输出进行平均融合，得到维度为512的图像特征：

式中，images为图像数据，N₁为单个样本中图像数据片段的数量；

3-2)音频特征提取：采用基于一维扩张卷积预对步骤2)中处理后的音频数据进行音频特征提取，然后对输出进行平均融合，得到音频特征：

式中，voices为音频数据，N₂为单个样本中音频数据片段的数量；

3-3)文本特征提取：采用基于GRU单元的双向循环网络对步骤2)中得到的关键词向量进行特征提取，并截取最后一个时间步的输出作为后续特征：

式中，texts为关键词向量，N₃为单个样本中关键词向量的数量。