[发明专利]一种用于无人售货柜的多角度视频融合的商品识别算法

说明书

本发明提供一种用于无人售货柜的多角度视频融合的商品识别算法，包括以下步骤：对采集到的视频数据进行预处理；对所述视频数据中视频帧进行关键帧采样；构建深度卷积神经网络模型；利用采样的关键帧对所述模型进行训练和精度测试，在商品识别的精度达到预期后，部署所述模型，进一步包括：特征提取、特征融合、特征识别；来自无人售货柜的不同角度摄像头的视频数据经预处理和关键帧采样后输入所述模型，得到识别出的商品种类和对应的商品数量。本发明通过多角度视频融合技术，充分利用多源数据带来的丰富信息来降低商品被遮挡的影响，从而提高商品识别精度。

技术领域

本发明涉及无人售货柜技术领域，具体涉及一种用于无人售货柜的多角度视频融合的商品识别算法。

背景技术

随着人工智能技术的发展，各行各业都开始应用人工智能技术来降低行业运行成本并提高其效率，尤其在新零售领域，如何利用人工智能技术来降低运营成本并让商品触手可及，便成为了行业里的热点研究领域。随着近几年科研人员在计算机视觉领域取得的突破性进展，利用基于深度学习神经网络的图像识别技术，来对顾客购买的商品进行自动识别，已经变得完全可行。另一方面，由于计算机运算能力的提升，在真实场景中大规模应用这种技术，并结合完善的电子在线支付系统，通过分析安装在售货柜上的多个摄像头所采集到的数据来对顾客消费进行结算，实现智能无人售货的新零售产业模式的时代已经到来。

基于深度学习神经网络的图像识别技术，利用大规模人工标注的图片数据集进行监督训练，具有强大的特征表达能力，通过对单张图片中所提取到的深度特征进行分类，即可识别图像中的所出现的物品。除此之外，相对于针对单张图片的静态识别技术，基于视频的多帧动态识别技术具有更广泛的应用场景，因为多帧图片中包含的信息更为丰富，且具有时间上的连续性，可以融合多帧信息来提高识别准确率。同时利用在多个角度所采集到视频流信息，可以对同一次用户操作和同一商品的多视角形态进行反复确认，从而缓解单一视角中的物体遮挡所带来的不利影响。因此，利用深度学习强大的特征表达能力以及丰富冗余的多视角数据，对用户购买的商品进行动态识别是完全可行且有价值的。

申请号2017102606931公开了一种基于视频的物体识别追踪方法，该方法由两部分组成，第一部分是用神经网络进行物体检测，接着第二部分是对检测到的物体进行追踪。该方法同样采用了深度卷积神经网络来对视频中的物体进行检测并识别。但是，在该专利中，视频流数据只来源于某一单一角度，因此包含的信息有限，尤其容易受到遮挡的影响，从而导致识别精确率不高。

发明内容

为克服上述现有技术的不足，本发明提供一种用于无人售货柜的多角度视频融合的商品识别算法，通过多角度视频融合技术，充分利用多源数据带来的丰富信息来降低商品被遮挡的影响，从而提高商品识别精度。

本发明是通过以下技术方案予以实现的：

一种用于无人售货柜的多角度视频融合的商品识别算法，包括以下步骤：

步骤一、对采集到的视频数据进行预处理，进一步包括：采集视频数据和对采集到的视频数据进行动态区域检测，得到所述视频数据中视频帧的动态区域；

步骤二、对所述视频数据中视频帧进行关键帧采样；

步骤三、构建深度卷积神经网络模型，所述模型具有多输入多输出结构；

步骤四、利用采样的关键帧对所述模型进行训练和精度测试，在商品识别的精度达到预期后，部署所述模型，该步骤进一步包括：特征提取、特征融合、特征识别；

步骤五、来自无人售货柜的不同角度摄像头的视频数据经预处理和关键帧采样后输入所述模型，得到识别出的商品种类和对应的商品数量。