[发明专利]一种基于人体姿态分析的表观视线估计方法

权利要求书

1.一种基于人体姿态分析的表观视线估计方法，该视线估计方法的网络结构由三个分支组成，显著图分支、头部姿态分支和人体姿态分支，该方法包括以下步骤：

显著图分支由整幅图像x_f作为输入，其维度经放缩后变为3×H×W，图像经一个主干网络提取特征，特征图的维度是K×D×D，然后接一个卷积核大小是1×1的卷积层，将其通道数变为1，得到的显著图的维度是1×D×D；

头部姿态分支：头部姿态分支由头部图像x_h和头部位置矩阵x_hl作为输入，头部中心位置h_c和大小h_l使用人体骨骼关键点检测中的头顶位置ph和颈部位置pn计算得到,先经过一个主干网络提取特征，然后接一个卷积核大小为1×1的卷积层，最后得到维度为1×D×D的特征图；

人体姿态分支：人的图像和人体骨骼关键点位置矩阵作为输入；堆叠多个hourglass模块，图像的大小先放缩到256×256，然后经过一个卷积核大小为7×7，步长为2卷积层和一个池化大小为2×2的最大池化层进行初步的特征提取后，得到大小为64×64，通道数为256的特征图后，进入hourglass模块；在hourglass模块之间使用卷积层进行连接；单个hourglass模块由卷积层和最大池化层进行下采样特征图到一定的大小；经卷积层和最近邻上采样特征图到原来的大小组成；卷积层后会使用组归一化对同组内的像素进行归一化，即对每一个像素点x_i转化网络最后的输出经2个卷积核大小1×1的卷积层后，将通道数变为关键点的个数；

三个分支的特征图进行点乘，接上主干网络的分类部分，即最后的全连接层，得到最后的输出y，作为注视点位置的预测输出；

最终使用注视物体的中心位置与头部的中心位置的连线作为视线方向。

2.根据权利要求1所述的方法，其特征在于，上述组归一化计算方法如下：

其中，x_i为输入，μ_i，σ_i为归一化数据服从的分布的均值和方差，为经过归一化的输出，γ，β为网络学习到的均值以及方差参数，ε是为了避免出现除0的情况所添加的一个很小的数，S_i即参与计算均值与方差的像素点集，m为S_i集合的大小，C为当前特征图的通道大小，G为Group设置的大小，k_n，k_c，i_n，i_c表示S_i点集中的一个元素。

3.根据权利要求2所述的方法，其特征在于，头部中心位置hc和大小hl的计算公式为：

h_l＝||p_h-p_n||₂。

4.根据权利要求1所述的方法，其特征在于，头部位置矩阵x_hl是一个大小为DxD的矩阵，其元素全为0，只在对应量化后的头部中心位置h_c的元素为1，h_x、h_y为头部中心在图片中的位置，即

5.根据权利要求1-4任一项所述的方法，其特征在于：

其中，F代表全连接操作，S代表显著图分支，H代表头部姿态分支，P代表人体姿态分支。x_f为输入的整张图片，x_h为头部图片，x_hl为头部定位，x_b为人体定位图片，x_bl为关键点定位图片。