[发明专利]一种基于图像矫正的斜拍货架分层检测方法及系统

说明书

本发明提供一种基于图像矫正的斜拍货架分层检测方法及系统，其中方法包括：获取拍摄图像，并根据Cascade‑Mask‑Rcnn深度学习算法对所述拍摄图像进行货架检测，得到货架轮廓；对所述货架轮廓进行平滑处理，根据平滑处理后的所述货架的轮廓计算所述货架所在四边形的四个顶点的坐标，并根据所述四个顶点的坐标计算所述货架轮廓的外接矩形；将所述外接矩形作为所述货架轮廓的校正形状，计算单应性矩阵，通过所述单应性矩阵对所述拍摄图像进行单应性变换，得到矫正图像；通过深度学习模型对所述矫正图像进行处理，实现货架分层检测。本发明能准确矫正斜拍货架图像，实现方式简单，提升了货架层检测的效果。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于图像矫正的斜拍货架分层检测方法及系统。

背景技术

在快速消费领域，许多快消企业为了找准定位、衡量市场的优劣、寻找销售潜在规律、提升产品竞争力，需要收集大量的终端产品陈列数据进行分析统计。在这些数据中，产品在货架的摆放层数是重要的陈列数据，而对产品的位置进行准确定位和统计的前提是能够对货架层进行准确的检测。

目前，货架图像的采集主要由业务员在门店进行实地拍摄获得。然而在实际拍摄时，因为场地受限、专业能力不足、时间紧迫等原因，业务员并不一定以正对货架的角度进行拍摄，此时由于透视作用，货架的层与照片水平边缘之间存在着一个夹角。为保证对货架层的识别准确率，目前的检测算法普遍基于anchor-based目标检测算法如Mask-rcnn、Cascade-mask-rcnn等。但这些算法在检测斜拍的货架层时，由于相邻的斜货架层所对应的proposals或预测box之间的IoU(Intersection-over-Union)较大，从而在NMS(Non-Maximum Suppression)过程中会极易被去除，导致了最终识别结果中部分架层的识别结果丢失，从而使得这些层中的SKU(Stock Keeping Unit)的位置无法被准确得出，不利于后续的业务计算和分析。即便使用Soft-NMS代替NMS算法，也只能在一定的程度上缓解货架层识别结果被暴力删除的问题而无法从根本上进行解决。现在的Anchor-Free检测算法虽然可以避免生成anchor的过程，但当多个检测目标的中心点落在同一网格内时只能检测其中的一个目标，不仅不利于密集货层等目标的检测，也限制了一个模型可检测目标的数量，同样不能得到令人满意的结果。如何对斜拍的货架层进行准确的检测成为业界的一大难题。

发明内容

本发明针对斜拍货架的层检测的困难和现有货架图像矫正技术的不足，提出一种货架图像自动矫正的方法及系统。

本发明第一方面提供一种基于图像矫正的斜拍货架分层检测方法，包括：

获取拍摄图像，并根据Cascade-Mask-Rcnn深度学习算法对所述拍摄图像进行货架检测，得到货架轮廓；

对所述货架轮廓进行平滑处理，根据平滑处理后的所述货架的轮廓计算所述货架所在四边形的四个顶点的坐标，并根据所述四个顶点的坐标计算所述货架轮廓的外接矩形；

将所述外接矩形作为所述货架轮廓的校正形状，计算单应性矩阵，通过所述单应性矩阵对所述拍摄图像进行单应性变换，得到矫正图像；

通过深度学习模型对所述矫正图像进行处理，实现货架分层检测。

进一步地，所述对所述货架轮廓进行平滑处理，根据平滑处理后的所述货架的轮廓计算所述货架所在四边形的四个顶点的坐标，包括：

通过Douglas-Peucker算法对所述货架轮廓进行轨迹压缩，得到平滑的货架轮廓；

根据所述货架轮廓，计算得到所述货架轮廓的形心位置；

根据组成所述货架轮廓的线段与所述形心位置的位置关系，对所有组成所述货架轮廓的线段进行归类，得到四类位于形心位置不同方向的线段组，去除每类线段组中不符合要求的线段后保留每一类别中长度最长的货架轮廓的线段；