[发明专利]一种基于图像矫正的斜拍货架分层检测方法及系统

权利要求书

1.一种基于图像矫正的斜拍货架分层检测方法，其特征在于，包括：

获取拍摄图像，并根据Cascade-Mask-Rcnn深度学习算法对所述拍摄图像进行货架检测，得到货架轮廓；

对所述货架轮廓进行平滑处理，根据平滑处理后的所述货架的轮廓计算所述货架所在四边形的四个顶点的坐标，并根据所述四个顶点的坐标计算所述货架轮廓的外接矩形；所述根据平滑处理后的所述货架的轮廓计算所述货架所在四边形的四个顶点的坐标，包括：根据所述货架轮廓，计算得到所述货架轮廓的形心位置；根据组成所述货架轮廓的线段与所述形心位置的位置关系，对所有组成所述货架轮廓的线段进行归类，得到四类位于形心位置不同方向的线段组，去除每类线段组中不符合要求的线段后保留每一类别中长度最长的货架轮廓的线段；将所述每一类别中长度最长的货架轮廓的线段所在直线的交点作为所述货架轮廓的四边形的四个顶点；所述根据所述四个顶点的坐标计算所述货架轮廓的外接矩形，包括：分别计算所述四个顶点的坐标的横坐标和纵坐标的最大值及最小值；根据每一顶点的横坐标和纵坐标的最大值及最小值，计算得到货架轮廓的外接矩形；

将所述外接矩形作为所述货架轮廓的校正形状，计算单应性矩阵，通过所述单应性矩阵对所述拍摄图像进行单应性变换，得到矫正图像；

通过深度学习模型对所述矫正图像进行处理，实现货架分层检测。

2.如权利要求1所述的一种基于图像矫正的斜拍货架分层检测方法，其特征在于，所述对所述货架轮廓进行平滑处理，包括：

通过Douglas-Peucker算法对所述货架轮廓进行轨迹压缩，得到平滑的货架轮廓。

3.如权利要求1所述的一种基于图像矫正的斜拍货架分层检测方法，其特征在于，所述根据组成所述货架轮廓的线段与所述形心位置的位置关系，对所有组成所述货架轮廓的线段进行归类，得到四类位于形心位置不同方向的线段组，包括：

遍历组成货架轮廓的所有线段，根据每一线段的端点与所述形心位置的相对位置，判断所述线段与所述形心位置的位置关系；具体地：

以所述形心为原点建立坐标轴；

若线段的两个端点分别位于第一象限及第二象限，则将该线段归类为位于形心上方的类型；

若线段的两个端点分别位于第二象限及第三象限，则将该线段归类为位于形心左侧的类型；

若线段的两个端点分别位于第三象限及第四象限，则将该线段归类为位于形心下方的类型；

若线段的两个端点分别位于第一象限及第四象限，则将该线段归类为位于形心右侧的类型；

若线段的两个端点位于同一象限，则计算该线段与x轴正方向的夹角，若所述夹角的绝对值小于50°，则在形心左侧、右侧两个类型中滤除该线段；若所述夹角的绝对值大于等于50°，则在形心上方、下方两个类型中滤除该线段；

若线段的两个端点分别位于第一象限及第三象限或第二象限及第四象限，则删除这条线段。

4.如权利要求1所述的一种基于图像矫正的斜拍货架分层检测方法，其特征在于，所述将所述外接矩形作为所述货架轮廓的校正形状，计算单应性矩阵，通过所述单应性矩阵对所述拍摄图像进行单应性变换，得到矫正图像，包括：

根据所述四个顶点的坐标及外接矩形的顶点坐标，计算单应性变换矩阵；

根据所述单应性变换矩阵，对所述拍摄图像进行单应性变换，得到矫正图像，完成对所述货架轮廓的校正。