[发明专利]一种基于深度学习的图像摆正方法

说明书

本发明公开了一种基于深度学习的图像摆正算法，包括：获取包含目标对象标注的分类图像样本集，每张图像样本的标注按目标对象的左上角、右上角、右下角和左下角的4个顶点组成；将图像样本集输入Hourglass网络模型训练，产生图像的4个顶点和中心点的heatmap；针对每个类别的图像，穷举训练产生的4个顶点组合，计算4个顶点组合对应的组合中心点，筛选出与训练产生的中心点的heatmap的匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合；根据筛选出的4个顶点组合从图像中提取出每个类别的目标对象，并通过透视变换得到摆正后的目标分类图像。本发明有效提高边缘、角点、轮廓特征相对模糊或者部分遮挡等场景下的图像摆正精度。

技术领域

本发明涉及深度学习技术领域，特别是一种基于深度学习的图像摆正算法。

背景技术

目前常见的图像摆正方法，主要是通过图形学算法和深度学习的方法实现。图形学方式主要采用轮廓识别或边缘/角点检查方法对图像进行处理摆正。此类方法的问题在于只对特定情况的图像有效，对边缘、角点、轮廓特征相对模糊的图像或文字内容在图像内颠倒等情况的处理能力较弱，整体适应性较差。

深度学习的方式主要通过图像分类的方法对90°、180°和270°等大倾角的图像进行粗略的图像摆正，无法进行较高精度的图像摆正。

发明内容

本发明要解决的技术问题是：为了解决边缘、角点、轮廓特征相对模糊或者部分遮挡等场景下的图像摆正精度低的问题，提出了一种基于深度学习的图像摆正算法。

为实现上述目的，本发明采用的技术方案如下：一种基于深度学习的图像摆正算法，包括：

步骤S1，获取包含目标对象标注的分类图像样本集，每张图像样本均具有标注，所述标注按目标对象的左上角、右上角、右下角和左下角的4个顶点组成；

步骤S2，将图像样本集输入Hourglass网络模型训练，产生图像的左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap；其中，Hourglass网络模型为沙漏网络模型，沙漏网络模型以resnet50为主干，heatmap为热图；

步骤S3，针对每个类别的图像，穷举训练产生的左上角、右上角、右下角和左下角的4个顶点组合，计算4个顶点组合对应的组合中心点，筛选出与训练产生的中心点的heatmap的匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合；

步骤S4，根据筛选出的4个顶点组合从图像中提取出每个类别的目标对象，并通过透视变换得到摆正后的目标分类图像。

进一步的，所述步骤S2还包括以下过程：构建左上角、右上角、右下角、左下角的4个顶点和中心点的offset。

进一步的，所述步骤S2中的训练过程包括以下步骤：

步骤S21，记(C_x,C_y)为中心点坐标，按左上角、右上角、右下角和左下角的顺序记4个顶点坐标分别为:(P_x1,P_y1)、(P_x2,P_y2)、(P_x3,P_y3)和(P_x4,P_y4)，则计算中心点坐标: