[发明专利]一种基于双路摄像头的商品识别方法

说明书

一种基于双路摄像头的商品识别方法涉及到基于深度学习的商品识别方法。本发明中对两个角度的画面进行融合检测，提高了商品的识别精度。使用混合的数据对特征提取主干网络进行训练，得到的特征提取主干网络可以同时提取两个角度的画面的特征，降低了使用传统目标检测算法时特征提取主干网络的训练成本。

技术领域

本发明涉及到基于深度学习的商品识别方法，具体涉及到智能售货柜方面的商品识别方法。

背景技术

智能售货柜是新零售时代的一种重要技术，业内主要采用四种技术方案，包括RFID、重力传感器、静态识别和动态识别。本方案属于动态识别方案中的一种。动态识别方案通常是通过在柜体顶端或两侧安装的摄像头对消费者开门后拿取商品的过程进行录制，通过对视频进行识别从而在确定消费者购买的商品的信息后进行结算。动态视觉方案的特性包括对商品陈列无任何要求，商品可堆叠摆放，能够提高空间利用率，支持多品类SKU售卖。但动态视觉识别为了能够兼容各类商家和商品的多样要求，对图像识别的精准度要求更高。部分方案通过加装柜体上的摄像头提高识别的精准度，但常用的识别算法都是基于一个摄像头的，如应用广泛的yolo系列算法，R-CNN系列算法，其检测方式都是单独对一个摄像头录取的画面进行特征提取、定位和分类。但多摄像头场景下，由于摄像头的视角不同，能够录制消费者拿取商品的不同角度的信息，因此本申请提出了对同一个场景的多个角度的视频帧进行融合检测的模型，从而提高商品类别识别精度。

发明内容

本发明的目的是针对现有技术存在的问题，结合双路摄像头售货柜的特点提供一种新的基于双路摄像头的商品识别方法，所述方法通过利用具有特征融合机制和注意力机制的算法对双路摄像头所拍摄的图像进行融合检测，提高了商品识别率。

本发明采用的技术方案如下：

一种基于双路摄像头的商品识别方法，包括数据集构建、模型构建、模型训练和模型识别；

步骤1：数据集构建

数据集构建的主要任务是在主、副摄像头所拍摄的为同一时刻的购物场景的前提下，对主、副摄像头同时录制的视频进行关键帧采帧，并保证采帧的帧间时差，以及对所采图像帧进行去噪和标注。

步骤2：模型构建

模型构建的主要任务是为主、副摄像头构建特征提取网络和对应单路检测头以及融合检测所需的融合检测头。

步骤3：模型训练

模型训练的主要任务是将构建好的数据进行混合然后输入模型中，计算损失函数值，通过反向传播和梯度下降算法对模型参数寻优，求得模型权重。模型训练阶段包括对特征提取主干网络的训练，单路检测头的训练和融合检测头的训练。

步骤4：推理识别

推理识别的任务主要是将待检测画面输入训练好的模型包括特征提取主干网络，单路检测头和融合检测头，并最终输出待检测目标在主、副摄像头画面中的坐标和类别信息。

通过本发明提供的基于双路摄像头的商品识别技术能够带来以下增益效果：

1、在本发明中，对两个角度的画面进行融合检测，提高了商品的识别精度。

2、在本发明中，使用混合的数据对特征提取主干网络进行训练，得到的特征提取主干网络可以同时提取两个角度的画面的特征，降低了使用传统目标检测算法时特征提取主干网络的训练成本。

附图说明

图1是本发明的基于双路摄像头的商品识别方法的一个实施例的流程图；

具体实施方式

本发明涉及售货柜技术领域，具体涉及到智能售货柜方面的商品识别。

步骤1：数据集构建

构建模型训练所需数据集。