[发明专利]一种变压器螺母识别与定位装置及方法

权利要求书

1.一种变压器螺母识别与定位装置，其特征在于，所述装置包括：

红外散斑投射模块：用于投射散斑至变压器的上方以及前方位置；

图像采集模块：利用变压器的上方及前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和RGB彩色图像，并将采集的红外散斑图像序列发送至深度感知处理模块，将RGB彩色图像发送给三维重建模块；

深度感知处理模块：用于将接收到的红外散斑图序列进行处理，得到显示效果平滑的深度图；

三维重建模块：用于将所述深度图进行处理得到点云数据，再将所述点云数据经过处理，并添加RGB彩色图像形成三维模型；

目标识别模块：基于所述三维模型，对变压器中的螺母进行识别，确定所述螺母在空间中的实时位置信息，并将变压器中螺母的实时位置信息传递给PC端进行显示。

2.根据权利要求1所述的装置，其特征在于：所述图像采集模块包括上方采集模块和前方采集模块；所述上方采集模块利用IR摄像头和RGB摄像头采集变压器上方的红外散斑图像序列和RGB彩色图像，所述前方采集模块利用IR摄像头和RGB摄像头采集变压器前方的红外散斑图像序列和RGB彩色图像。

3.根据权利要求2所述的装置，其特征在于：所述深度感知处理模块用于接收变压器上方和前方的红外散斑图像序列，并对所述红外散斑图像序列进行图像预处理、运动估计匹配及图像后处理，得到显示效果平滑的深度图；

所述图像预处理包括：将所述红外散斑图像转化成灰度散斑图序列；

运动估计匹配包括：将图像预处理后的灰度散斑图序列与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配得到深度图信息；

图像后处理包括：将所述深度图信息进行图像滤波去噪和图像分割，得到显示效果平滑的深度图信息。

4.根据权利要求3所述的装置，其特征在于：所述三维重建模块利用空间坐标转换公式对所述深度图信息进行处理得到点云数据，再利用icp算法对所述点云数据进行点云配准，点云融合，并添加RGB信息形成三维模型。

5.根据权利要求1所述的装置，其特征在于：所述目标识别模块用于对场景中变压器高压侧的3个螺母和低压侧的4个螺母进行识别。

6.一种利用权利要求1至5任一所述变压器螺母识别与定位装置对变压器螺母识别与定位的方法，其特征在于：所述方法包括如下步骤：

S100、利用红外散斑投射模块投射散斑至变压器上方以及前方位置；

S200、利用变压器的上方及前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和RGB彩色图像；

S300、对红外散斑图像序列进行图像处理得到显示效果平滑的深度图序列，将所述深度图序列进行点云配准与融合后，与RGB彩色图像结合得到三维模型；

S400、对场景中的变压器进行检测，识别出变压器的高压侧和负载侧的螺母，并对所述螺母位置信息进行定位，将得到的螺母位置信息传入PC端。

7.根据权利要求6所述的方法，其特征在于，所述步骤S300前还包括下述步骤：

S301、利用张氏标定法对变压器上方和前方的IR摄像头和RGB摄像头进行标定，标定出IR摄像头和RGB摄像头的内外参数。

8.根据权利要求7所述的方法，其特征在于：所述步骤S300包括以下步骤：

S3001、对所述红外散斑图像序列进行图像预处理、运动估计匹配及图像后处理，得到显示效果平滑的深度图序列；

S3002、利用空间坐标转换公式对所述深度图序列进行处理得到点云数据；

S3003、利用icp算法及IR摄像头的内外参数对所述点云数据进行点云配准，点云融合，并添加RGB信息形成三维模型。