[发明专利]基于眼球跟踪的商品目标检测方法及装置

说明书

本发明提供了一种基于眼球跟踪的商品目标检测方法及装置，该方法，包括：采集用户视野范围的商品图像；通过眼球跟踪平台确定用户在所述商品图像上的注意点位置信息；将所述商品图像、所述注意点位置信息输入目标学习模型中；其中，所述目标学习模型用于根据所述注意点位置信息，确定所述商品图像中的目标商品区域；获取所述目标商品区域中的商品信息，所述商品信息包括：商品的类别。从而实现根据眼球跟踪信息，获得注意力点位置数据，并采用目标学习模型进行商品目标检测，解决了现有商品图像目标检测方法中检测速度慢和定位准确率低的问题，具有检测速度快、检测准确率高的优点，可用于实时对用户注意力点关注的商品进行自动目标检测。

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及基于眼球跟踪的商品目标检测方法及装置。

背景技术

人眼追踪被长期运用于研究个体的视觉注意力，最常用的眼球跟踪技术是瞳孔中心角膜反射技术(pupil centre corneal reflection简称PCCR)。PCCR技术的原理是，通过物理追踪设备的摄像头捕捉，光源对瞳孔照射形成高度可见反射的图像，这些图像将被用于确定光源在角膜和瞳孔中的反射情况，最后通过对角膜、瞳孔反射形成向量夹角与其他几何特征计算，得出人眼注视的方向。

传统目标检测的方法，通常是基于人工特征提取，这种方法对于环境以及目标多样性的变化没有很好的鲁棒性。当环境或目标状态变化时，目标监测方法的精度会降低。基于卷积神经网络的目标检测方法是将深度学习技术与计算机视觉技术相结合，具有局部感受野、结构层次、特征抽取与分类结合的全局训练特征。提高了目标检测的精度和鲁棒性。因此，基于深度学习卷积神经网络的目标检测技术是近年来的热门研究热点。

但是，现有的基于深度学习技术的目标检测方法检测速度慢，很难实时跟踪用户的注意力点，并自动地根据用户的注意力点进行快速的商品检测。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于眼球跟踪的商品目标检测方法及装置。

第一方面，本发明实施例提供一种基于眼球跟踪的商品目标检测方法，包括：

采集用户视野范围的商品图像；

通过眼球跟踪平台确定用户在所述商品图像上的注意点位置信息；

将所述商品图像、所述注意点位置信息输入目标学习模型中；其中，所述目标学习模型用于根据所述注意点位置信息，确定所述商品图像中的目标商品区域；

获取所述目标商品区域中的商品信息，所述商品信息包括：商品的类别。

可选地，在采集用户视野范围的商品图像之前，还包括：

构建初始学习模型；

获取训练样本集，通过所述训练样本集对所述初始学习模型进行迭代训练，直到所述初始学习模型的输出结果符合预设的判定条件之后，结束迭代训练，得到对应的目标学习模型。

可选地，获取训练样本集，包括：

获取商品图像；

在所述商品图像中，通过预测框标注出所有的目标商品区域；

根据所述商品图像上的注意点位置信息，赋予所述预测框对应的权值，得到标注好的样本图像；所有样本图像的集合构成训练样本集；其中，越靠近注意点的预测框所对应的权值越大。

可选地，所述初始学习模型为神经网络分类回归模型；所述神经网络分类回归模型包括14层卷积神经网络。

可选地，所述预设的判定条件包括：所述初始学习模型的输出结果与商品图像的实际结果相同的概率达到预设的阈值，和/或所述初始学习模型的损失函数的误差在预设的误差范围内。