[发明专利]基于边缘强化图像分割的风机数字孪生特征实时检测方法

说明书

本发明公开一种基于边缘强化图像分割的风机数字孪生特征实时检测方法，该方法引入深度学习神经网络图像分割技术，并对其网络结构进行进一步改进。从大量带有标签的风机表面图像样本中有监督地训练图像数据中的概率分布，提高模型提取图像中提取图像特征的能力，同时利用数字孪生方法，在虚拟环境中构建新的风机模型，并在风机上合理的位置添加缺陷，在虚拟环境中使用相机进行模拟拍摄，对生成的图片同样进行标注，从而扩展训练时的数据集样本，从而保证该深度学习模型在更广泛的复杂图像中分类分割的泛化能力。

技术领域

本发明涉及计算机视觉领域和数字孪生领域，尤其涉及一种基于边缘强化图像分割的风机数字孪生特征实时检测方法。

背景技术

数字孪生技术（Digital Twin）是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟世界中完成物理世界的映射，从而反映相对应的实体装备的全生命周期过程。数字孪生可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统，其是物理世界与虚拟世界进行交互与融合的纽带。

图像特征分类方法是根据图像划分子区域的语义信息识别为相应的特征类别，其中语义信息包括颜色、轮廓、纹理等细分特征。传统方法对于特征的表达耗时耗力，往往只能在处理相同且制作精良的部件上可靠运行，但是随着缺陷的种类和数量的增多，传统算法变得越来越复杂。深度神经网络模型的出现推动了质量检测领域的发展，深度神经网络通过训练大量图像得到的具有进步潜力的学习经验，可以快速识别图像中传统机器视觉方法难以捕捉的有效变量，例如：照明、曲面、或视野等，从而完成较复杂工况下复杂特征的可靠识别。

边缘检测是图像处理和计算机视觉中的重要问题，边缘检测的目的是在图像特征检测的基础上以不规则边缘的形式反映属性的重要事件和变化，图像边缘检测大幅度减少图像不相关信息，仅保留图像重要的结构属性。

风能作为一种很有前途的可再生能源，近年来不断得到发展，而风机的事故发生频率也在逐年增加。及时对风机表面进行初步的损伤特征检测，对于减少风力机灾难性事故，增加风力机的有效工作时间具有重要意义。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于边缘强化图像分割的风机数字孪生特征实时检测方法，该方法引入了基于数字孪生的数据集扩充方式，和基于深度神经网络的图像分割技术，并对其边缘识别能力进行强化，在生成大量有效的虚拟数据的同时，从大量的有标签的风机表面图像样本中有监督地学习图像数据中的概率分布，提高模型提取图像中数字特征的能力，从而保证模型在更广泛的复杂图像中的分类泛化能力。最后，使用支持远程高精度操控的无人机搭载训练好的模型，在实地场景中实现高自动化、低成本、快速准确的风机表面目标特征识别。

本发明的目的通过如下的技术方案来实现：

一种基于边缘强化图像分割的风机数字孪生特征实时检测方法，该方法包括如下步骤：

（1）选取某个特定风机的若干带有表面特征的风机图片，基于选取的风机图片，在虚拟环境中，对该特定风机和风机周边场景进行建模，并增加风机的表面特征；

（2）使用虚拟场景中的相机对虚拟的带有表面特征的风机模型进行仿真拍摄，得到带有表面特征的数字孪生虚拟风机图片；

（3）先对真实风机图片与数字孪生虚拟风机图片进行数据集的扩充和增强，并标注出图片中显示出的所有表面特征的区域以及每个表面特征所属类别，所述类别包括涡流发生器面板、涡流发生器面板缺失、锈蚀三类；

（4）选取Mask RCNN作为图像分割的基础网络，并对其进行边缘识别效果进行增强，得到边缘强化Mask RCNN；将步骤（3）得到的所有风机图片中的风机表面特征的区域以及该表面特征所属类别分别抽象为数字向量和标量，其中，数字向量作为边缘强化MaskRCNN的输入，标量作为边缘强化Mask RCNN分类的对照标签；所述边缘强化Mask RCNN为在Mask RCNN训练时增加损失函数中预测区域边界所占的权重后的深度学习图像分割神经网络；