[发明专利]基于深度学习的风机叶片图像全景拼接方法和系统

说明书

本发明公开了一种基于深度学习的风机叶片图像全景拼接方法和系统，所述方法包括：构建卷积神经网络；利用预先获取的大量风机叶片图片进行位置标注，生成训练标签；利用所述训练标签对所述卷积神经网络进行训练，获得经训练的卷积神经网络模型；将待拼接的原始风机叶片图片输入所述经训练的卷积神经网络模型，获得所述原始风机叶片图片的位置关系数据并对所述原始风机叶片图片进行拼接。该风机叶片图像全景拼接方法和系统使用深度学习卷积神经网络，能够在图像信息量较少及关键点较少的情况下完成自动化拼图，实现风力发电机叶片的全景拼接，方便后续定位风力发电机叶片上的缺陷位置。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的风机叶片图像全景拼接方法和系统。

背景技术

风力发电机叶片长度普遍在20米以上，为了保证风力发电机的正常运转，需要定时使用无人机进行巡检，利用无人机的高清摄像头在距离风力发电机叶片较近的距离拍摄图片，然后处理这些图片，检查叶片是否损坏。风力发电机共有3个叶片，每个叶片有4个面，为了检查叶片是否有损坏，需要依次拍摄所有叶片的所有表面，同时必须保证损坏的部分有足够的清晰度，也就是说必须有足够多的像素数量。无人机的摄像头分辨率有限，为了保证能够清晰地拍摄到叶片的细节，每个叶片的每个面需要按从叶根到叶尖或从叶尖到叶根的顺序依次拍摄约50张高清照片。为了更直观地判断损坏出现在叶片的位置，需要把每一个叶片的每一个面拼接成一张完整的全景图像，这就需要把无人机拍摄的约50张细节图拼合成1张。

现有的图像拼接方法主要包括基于关键点匹配的图像拼接方法和基于直方图匹配的图像拼接方法。基于关键点匹配的图像拼接方法主要基于传统的图像处理方法，提取图像本身的关键点信息，比如图像的角点、特征点等，再利用这些关键点的关系进行拼接。该方法非常依赖关键点的数量和质量。在画面纯粹、纹理较少的情况下，关键点数量也相对较少，导致无法计算出变换矩阵，进而导致不能拼合图像。此外，风机叶片形状不规则，有两个面宽度较窄，在拍摄的时候难免会拍摄到背景。使用关键点匹配技术时大部分关键点都位于背景上，而不是风机叶片上。算法无法识别到风机叶片上用于拼接的有用信息，导致拼接出现错误。此外，关键点检测和匹配过程需要大量计算，耗时相对较多，在拼接图像尺寸较大、数量较多时，拼接效率较低。

基于直方图匹配的图像拼接方法主要利用图像的直方图信息进行匹配运算。该方法精度较差，当图片关键点较少，但颜色、亮度等信息区域性差异较大的情况下较为适用，而当需要拼接的图像在颜色、亮度等信息变化较小的情况下，该方法不具备实用价值。在拼接风力发电机叶片的情况下，前景是风力发电机的叶片，整体颜色变化范围较小，亮度几乎没有变化，因此该方法无法使用。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于深度学习的风机叶片图像全景拼接方法和系统。本发明要解决的技术问题通过以下技术方案实现：

本发明的一个方面提供了一种基于深度学习的风机叶片图像全景拼接方法，包括：

S1：构建卷积神经网络；

S2：利用预先获取的大量风机叶片图片进行位置标注，生成训练标签；

S3：利用所述训练标签对所述卷积神经网络进行训练，获得经训练的卷积神经网络模型；

S4：将待拼接的原始风机叶片图片输入所述经训练的卷积神经网络模型，获得所述原始风机叶片图片的位置关系数据并对所述原始风机叶片图片进行拼接。

在本发明的一个实施例中，所述S1包括：

利用回归网络构建所述卷积神经网络，所述卷积神经网络包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第一全连接层和第二全连接层。

在本发明的一个实施例中，所述S2包括：