[发明专利]基于openpose的产品关注度的眼动识别的方法

说明书

本发明公开了一种基于openpose的产品关注度的眼动识别的方法，步骤如下：在产品货架安装摄像头；将消费者实时监控视频输入openpose系统中，提取有效数据；将眼动仪安装在产品区域，获取待测图像；再通过眼动跟踪软件对待测图像进行预处理，提取待测图像中人物的参数信息；通过眼动数据的分类算法对图像眼动轨迹进行眼动特征提取；通过眼动特征数据与OPENPOSE的五官转向数据提取有效数据进行比对匹配；根据消费者的眼动注视和五官转向的热点区域，对主要区域中的产品进行关注度排序；根据眼睛注视的方向预测聚焦点，结合聚焦点在货架的位置可以确定消费者关注的范围。用于检测鞋服类进店顾客的眼动，得到识别数据结果，预测消费者对产品的选择行为，完善该消费者的画像与产品偏好信息。

技术领域

本发明涉及一种基于openpose的产品关注度的眼动识别的方法。

背景技术

眼动追踪是测量眼睛运行的过程。眼动技术通过从眼动轨迹的记录提取注视时间、注视轨迹和注视次数等数据，进一步研究个体的内在认知过程。更准确来说是通过仪器设备进行图像处理技术，定位瞳孔位置，获取坐标，并通过一定的算法，计算眼睛注视或者凝视的点，让计算机知道你正在看哪里，何时看的。眼动相关技术是计算机视觉与人机交互领域的热门研究方向，眼动数据分类被广泛地应用于市场调查等领域。在市场营销研究中，眼睛运动类型追踪是一种能够客观的反映消费者对营销信息的注意及自发反馈的关键手段。消费者的眼动数据有助于营销人员研究消费者的购买意向。

消费者的眼动数据判别在现实生活中应用广泛，并部分已得到验证。比如, 在实际的购物市场中，可以通过消费者进入市场的真实购物流程，了解消费者注意力主要集中在什么商品上通过分析真实的购物案例，发现消费者的注意力主要集中在中间货架区域，进而可调整商品摆放位置。然而目前眼动设备有采样测试的数据丢失和眼动数据因人而异等问题。且通过单一的眼动数据分析结论准确性较低，常常将无用数据收集识别，产生无效信息。

发明内容

本发明所要解决的技术问题是提供一种基于openpose的产品关注度的眼动识别的方法，该方法用于检测鞋服类进店顾客的眼动，结合openpose对五官的转向定位角度识别进行眼动数据的补充，得到识别数据结果，预测消费者对产品的选择行为，完善该消费者的画像与产品偏好信息，并评价分析顾客对产品的关注度。

为此，本发明提供的一种基于openpose的产品关注度的眼动识别的方法，其特征：步骤如下，

（1）在产品货架安装摄像头；

（2）将消费者实时监控视频输入openpose系统中，通过openpose系统识别五官转向定位角度，提取有效数据；

（3）将眼动仪安装在产品区域，通过眼动仪的相机设备检测区域内消费者眼动运动及面部转向，获取待测图像；

（4）再通过眼动跟踪软件对待测图像进行预处理，提取待测图像中人物的眼部特征、眼动方向、眼动特征和运动轨迹的参数信息；

（5）根据参数信息进行分类算法对图像眼动轨迹进行眼动特征提取，转换数据后编码压缩便于存储传输，眼动特征数据包括注视时间、注视和回视次数、回视方式、注视顺序和瞳孔直径变化指标。

（6）通过眼动特征数据与openpose系统的五官转向数据提取有效数据进行比对匹配，将匹配到的有效数据输出数据结果；

（7）根据眼睛注视的方向预测聚焦点，结合聚焦点在货架的位置可以确定消费者关注的范围，根据消费者的眼动注视和五官转向的热点区域，对主要区域中的产品进行关注度排序。

上述步骤（4）中，根据待测图像计算受试者眼部关注的坐标位置，并将传递回控制刺激信号的计算机，通过眼动跟踪软件，使用图像处理算法来识别眼睛跟踪相机发送的每个图像上的两个关键位置—瞳孔中心和角膜反射中心，根据角膜与瞳孔反射光线之间的角度变化可以计算出眼动的方向及其运动变化。