[发明专利]基于眼球跟踪的商品目标检测方法及装置

权利要求书

1.一种基于眼球跟踪的商品目标检测方法，其特征在于，包括：

构建初始学习模型；所述初始学习模型为神经网络分类回归模型；所述神经网络分类回归模型包括14层卷积神经网络；

获取训练样本集，通过所述训练样本集对所述初始学习模型进行迭代训练，直到所述初始学习模型的输出结果符合预设的判定条件之后，结束迭代训练，得到对应的目标学习模型；获取训练样本集包括：获取商品图像；在所述商品图像中，通过预测框标注出所有的目标商品区域；根据所述商品图像上的注意点位置信息，赋予所述预测框对应的权值，得到标注好的样本图像；所有样本图像的集合构成训练样本集；其中，越靠近注意点的预测框所对应的权值越大；

采集用户视野范围的商品图像；

通过眼球跟踪平台确定用户在所述商品图像上的注意点位置信息；

将所述商品图像、所述注意点位置信息输入目标学习模型中；其中，所述目标学习模型用于根据所述注意点位置信息，确定所述商品图像中的目标商品区域；

获取所述目标商品区域中的商品信息，所述商品信息包括：商品的类别。

2.根据权利要求1所述的基于眼球跟踪的商品目标检测方法，其特征在于，所述预设的判定条件包括：所述初始学习模型的输出结果与商品图像的实际结果相同的概率达到预设的阈值，和/或所述初始学习模型的损失函数的误差在预设的误差范围内。

3.根据权利要求1或2所述的基于眼球跟踪的商品目标检测方法，其特征在于，在将所述商品图像、所述注意点位置信息输入目标学习模型中之前，还包括：

从所述注意点位置信息中获取注意点在所述商品图像中的坐标；

以所述坐标对应的位置为中心点，对所述商品图像进行裁剪处理，得到预设尺寸的子图像；

将所述预设尺寸的子图像平均分为预设矩阵大小的N个预测框，所述预设矩阵大小包括：(16x30)像素、(33x12)像素、(30x61)像素、(62x35)像素、(59x119)像素；其中，每个预测框用于预测指定数量的目标商品区域。

4.一种基于眼球跟踪的商品目标检测装置，其特征在于，用于执行如权利要求1-3中任一项所述的基于眼球跟踪的商品目标检测方法，所述装置包括：

摄像头，用于采集用户视野范围的商品图像；

眼球跟踪平台，用于确定用户在所述商品图像上的注意点位置信息；

处理器，用于将所述商品图像、所述注意点位置信息输入目标学习模型中；其中，所述目标学习模型用于根据所述注意点位置信息，确定所述商品图像中的目标商品区域；

处理器，还用于获取所述目标商品区域中的商品信息，所述商品信息包括：商品的类别。