[发明专利]一种基于双模态数据的电厂设备维修决策支持方法及系统

权利要求书

1.一种基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述方法包括：

获取目标图像并获取所述目标图像中的目标设备对应的设备特征向量；

获取第一语音信号和第二语音信号，所述第一语音信号反映所述目标设备的设备状态，所述第二语音信号反映所述目标设备的维修目标，将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量；

将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案。

2.根据权利要求1所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述获取目标图像之前，包括：

接收第三语音信号，采用已训练的第一神经网络对所述第三语音信号进行识别，获取所述第三语音信号对应的第三语音特征向量；

当所述第三语音特征向量与预设的触发词特征向量之间的相似度大于第一预设阈值时，获取所述目标图像；

其中，所述第一神经网络为门控神经网络。

3.根据权利要求2所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量，包括：

采用所述第一神经网络将所述第一语音信号和所述第二语音信号转化为所述第一语音特征向量和所述第二语音特征向量。

4.根据权利要求1所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述获取所述目标图像中的目标设备对应的设备特征向量，包括：

将所述目标图像输入至已训练的目标检测模型，通过所述目标检测模型检测所述目标图像中的所述目标设备并获取所述目标设备对应的所述设备特征向量。

5.根据权利要求3所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述目标检测模型基于多组训练数据训练完成，每组训练数据包括样本图像以及该样本图像中的设备标注结果，所述设备标注结果中包括该样本图像中设备所占区域框的坐标位置以及设备的类型。

6.根据权利要求3所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配之前，包括：

将多组预设的维修方案文本分别输入至已训练的所述第二神经网络，获取所述第二神经网络输出的所述多组预设的维修方案分别对应的文本特征向量；

其中，所述第一神经网络和所述第二神经网络的训练过程为：

在第一训练数据集中选取至少一个目标第一训练数据，在第二训练数据集中选取至少一个目标第二训练数据；

将所述至少一个目标第一训练数据输入至所述第一神经网络，获取所述第一神经网络输出的各个所述目标第一训练数据分别对应的样本语音特征向量，将所述至少一个目标第二训练数据输入至所述第二神经网络，获取所述第二神经网络输出的各个所述目标第二训练数据分别对应的样本文本特征向量；

获取各个所述目标第一训练数据之间的第一相似度，获取各个所述样本语音特征向量之间的第二相似度，根据所述第一相似度和所述第二相似度获取第一损失；

获取各个所述目标第二训练数据之间的第三相似度，获取各个所述样本文本特征向量之间的第四相似度，根据所述第三相似度和所述第四相似度获取第二损失；

构建至少一个训练数据对，每个所述训练数据对中包括一个所述目标第一训练数据和一个所述目标第二训练数据，获取每个所述训练数据对中的所述目标第一训练数据和所述目标第二训练数据的第五相似度以及对应的所述样本语音特征向量和所述样本文本特征向量之间的第六相似度；

根据所有所述训练数据对应的所述第五相似度和所述第六相似度获取第三损失；

根据所述第一损失和所述第三损失更新所述第一神经网络的参数，根据所述第二损失和所述第三损失更新所述第二神经网络的参数。