[发明专利]一种基于人体姿态分析的表观视线估计方法

说明书

本发明专利涉及一种结合人体姿态信息估计视线方法，设计了一个包含显著目标检测分支、头部姿态估计分支和人体姿态估计分支的深度卷积神经网络估计视线方向。三个分支的特征图最后通过点乘给出注视点位置的预测，注视点位置与头部中心位置的连线作为视线方向。通过该结合人体姿态的视线估算方法能够提高视线估计算法的准确度和鲁棒性。

技术领域

本发明属于一种表观视线估计技术领域，特别涉及一种基于人体姿态分析的表观视线估计方法。

背景技术

视线是指人的眼睛注视方向,通常代表了人所关注的焦点。视线信息能辅助机器理解人类行为、意图和人物的所在环境。视线估计在人机交互、注意力分析和视频监控等方面有巨大的应用价值。

视线估计作为一种注意力分析的工具，具有可量化，可视化的特点。例如在阅读研究中，通过视线估计，可以记录在哪些地方停顿，在哪些地方跳读，在哪些地方有回看等。在进行网站、杂志和海报等的页面设计时，利用视线估计技术，可以分析用户对哪些区域感兴趣，从而科学地设计页面来吸引用户和提高广告投放的有效性等。

在视频监控中，视线估计技术的用途广泛和重要。如在教室的视频监控中，分析学生上课的注意力情况，能更加客观地评估学生的状态和教师的水平。在商场的视频监控中，分析人群的注意力情况，能更加有效地设计广告的投放位置。在车站、机场和广场等人流密集场所的视频监控中，实时地进行视线估计，快速地发现异常行为。

目前，主要有基于表观(appearance-based)和基于模型(model-based) 两种方法。基于模型的方法，因为需要复杂的设备(一个或多个的摄像头和红外光源)，所以没有广泛地应用。而近些年来，随着机器学习，特别是深度学习的突破，基于表观的方法因为具有设备简单(只需要一个摄像头)、应用范围广泛等特点逐渐成为研究的主流。

发明内容

为克服已有技术的不足之处，本发明提出基于人体姿态分析的表观视线估计方法，以提高视线估计算法的准确度和鲁棒性。

为达到此目的，本发明采用以下技术方案：

一种基于人体姿态分析的表观视线估计方法，该视线估计方法的网络结构由三个分支组成，显著图分支、头部姿态分支和人体姿态分支，该方法包括以下步骤：

显著图分支由整幅图像x_f作为输入，其维度经放缩后变为3×H×W，图像经一个主干网络提取特征，特征图的维度是K×D×D，然后接一个卷积核大小是1×1的卷积层，将其通道数变为1，得到的显著图的维度是1 ×D×D；

头部姿态分支：头部姿态分支由头部图像x_h和头部位置矩阵x_hl作为输入，头部中心位置hc和大小hl使用人体骨骼关键点检测中的头顶位置ph 和颈部位置pn计算得到,先经过一个主干网络提取特征，然后接一个卷积核大小为1×1的卷积层，最后得到维度为1×D×D的特征图；

人体姿态分支：人的图像和人体骨骼关键点位置矩阵作为输入；堆叠多个hourglass模块，图像的大小先放缩到256×256，然后经过一个卷积核大小为7×7，步长为2卷积层和一个池化大小为2×2的最大池化层进行初步的特征提取后，得到大小为64×64，通道数为256的特征图后，进入hourglass模块；在hourglass模块之间使用卷积层进行连接；单个 hourglass模块由卷积层和最大池化层进行下采样特征图到一定的大小；经卷积层和最近邻上采样特征图到原来的大小组成；卷积层后会使用组归一化对同组内的像素进行归一化，即对每一个像素点x_i转化网络最后的输出经2个卷积核大小1×1的卷积层后，将通道数变为关键点的个数；

三个分支的特征图进行点乘，接上主干网络的分类部分，即最后的全连接层，得到最后的输出y，作为注视点位置的预测输出；

最终使用注视物体的中心位置与头部的中心位置的连线作为视线方向。