[发明专利]一种基于双模态数据的电厂设备维修决策支持方法及系统

说明书

本发明公开了一种基于双模态数据的电厂设备维修决策支持方法及系统，方法包括：获取目标图像并获取所述目标图像中的目标设备对应的设备特征向量；获取第一语音信号和第二语音信号，所述第一语音信号反映所述目标设备的设备状态，所述第二语音信号反映所述目标设备的维修目标，将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量；将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案。本发明可以提升维修方案查找效率。

技术领域

本发明涉及设备控制技术领域，尤其涉及一种基于双模态数据的电厂设备维修决策支持方法及系统。

背景技术

传统模式下，维修人员需要携带大量维修文件和手册进场，根据设备的实际故障手工查阅文档选择维修方案，整体效率低下。

因此，现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于双模态数据的电厂设备维修决策支持方法及系统，旨在解决现有技术中维修人员需要手工查阅文档来查找维修方案，效率低的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

第一方面，本发明提供一种基于双模态数据的电厂设备维修决策支持方法，其中，所述方法包括：

获取目标图像并获取所述目标图像中的目标设备对应的设备特征向量；

获取第一语音信号和第二语音信号，所述第一语音信号反映所述目标设备的设备状态，所述第二语音信号反映所述目标设备的维修目标，将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量；

将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案。

所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述获取目标图像之前，包括：

接收第三语音信号，采用已训练的第一神经网络对所述第三语音信号进行识别，获取所述第三语音信号对应的第三语音特征向量；

当所述第三语音特征向量与预设的触发词特征向量之间的相似度大于第一预设阈值时，获取所述目标图像；

其中，所述第一神经网络为门控神经网络。

所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量，包括：

采用所述第一神经网络将所述第一语音信号和所述第二语音信号转化为所述第一语音特征向量和所述第二语音特征向量。

所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述获取所述目标图像中的目标设备对应的设备特征向量，包括：

将所述目标图像输入至已训练的目标检测模型，通过所述目标检测模型检测所述目标图像中的所述目标设备并获取所述目标设备对应的所述设备特征向量。

所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述目标检测模型基于多组训练数据训练完成，每组训练数据包括样本图像以及该样本图像中的设备标注结果，所述设备标注结果中包括该样本图像中设备所占区域框的坐标位置以及设备的类型。

所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配之前，包括：

将多组预设的维修方案文本分别输入至已训练的所述第二神经网络，获取所述第二神经网络输出的所述多组预设的维修方案分别对应的文本特征向量；