[发明专利]一种基于物理引擎和深度全卷积网络的商品识别方法

说明书

本发明公开了一种基于物理引擎和深度全卷积网络的商品识别方法。将待检测商品放置在载物台上，通过载物台正上方的摄像头对在载物台上的商品进行中心点及类别预测来统计商品的类别及数量，通过物理引擎模拟现实中物体的摆放姿势，通过图形学渲染生成训练集，通过训练深度全卷积网络来对图片中的商品进行中心点及类别预测，从而实现对商品物体的检测。本发明实现了从一张RGB图像中对商品类别和数量进行识别，速度快、成本低并且可以很好地应对新增商品的分类处理。

技术领域

本发明属于计算机视觉领域的一种物体识别方法，具体是涉及一种基于物理引擎渲染生成训练集和基于深度学习全卷积神经网络的商品识别分类及计数方法。

背景技术

亚马逊无人超市的出现，新零售概念的提出，使得自动收银成为了新的热点。亚马逊无人超市主要借助于密集部署的传感器，成本较高，难以大规模投入使用。自动收银可以让人们不再排着长队等待着店员对着商品条形码逐个地扫描，基于计算机视觉的自动收银可以直接得到图片中物体的类别及数量，大大加快结账速度。然而由于现实场景中存在商品种类繁多、数据集标注工作量巨大、商品新增频繁等问题，基于计算机视觉的自动收银仍然是一个具有挑战性的问题。

目前基于计算机视觉的自动收银方法主要使用人工标注的数据集进行训练。将商品摆放在空白背景中，使用多个摄像头拍摄商品图片，通过显著性检测将商品从空白背景中分割出来，通过生成对抗网络合成或者将商品黏贴在空白背景上生成新的训练集。通过多个摄像头拍摄的训练集存在物体姿势不真实、数据集清洗困难等问题。如何降低数据集收集成本，成了基于计算机视觉的自动收银所面临的最大问题。

发明内容

针对基于计算机视觉的自动收银领域数据集难以收集、清洗，数据集不真实，商品增加频繁导致深度全卷积网络训练繁琐等问题，本发明的目的在于提供了一种基于物理引擎和深度全卷积网络的商品图像识别方法，基于物理引擎来生成姿势真实、无需人工标注的训练集，利用ResNet18深度全卷积网络预测物体中心及类别，解决了现有自动收银领域数据集较少、深度全卷积网络速度慢、难以应对不断新增商品的问题。

本发明解决其技术问题所采用的技术方案步骤如下：

1)使用3D扫描仪对零售商店内销售的所有商品进行扫描，获得所有商品的3D模型，使用物理引擎模拟3D模型从高处跌落到平面的场景，使物体的姿势较真实，虚拟相机拍摄跌落到平面上的3D模型得到训练图片，根据3D模型的顶点信息和相机的内外参数获得每个3D模型在训练图片的最小外接矩形生成训练标签，训练图片和训练标签组成了训练集；

2)在训练阶段，建立深度全卷积网络，将训练集先进行数据增强后输入到深度全卷积网络，深度全卷积网络通过前向传播输出训练图片中物体中心位置的热力图，根据标签信息计算损失值，通过梯度下降和反向传播减少损失值，不断迭代训练深度全卷积网络，直到损失值收敛不再下降，完成深度全卷积网络的训练；

3)在测试阶段，将训练好的深度全卷积网络部署在后端的深度学习服务器上，将多个测试商品以随机姿势摆放在载物台上，在载物台正上方安装摄像头，将摄像头正对载物台，使摄像头能够完整捕捉采集到载物台上测试商品的RGB图像；将摄像头捕捉到的RGB图像传输到深度学习服务器，深度全卷积网络接收测试商品的RGB图像作为输入，输出RGB图像中所有商品物体中心点热力图，通过后处理得到各个商品物体的类别及中心点位置；

4)当出现新增商品时，先扫描得到3D模型，然后与之前的3D模型一起使用步骤1)中提到的方法生成新的训练集，使用新的训练集对之前训练好的目标检测深度全卷积网络进行微调训练，重新训练得到新的深度全卷积网络；将旧的深度全卷积网络替换为新的深度全卷积网络并部署到深度学习服务器上。