[发明专利]基于视线估计的目标注视识别方法及系统

权利要求书

1.一种基于视线估计的目标注视识别方法，其特征在于，所述方法包括：

提取原图像中的脸部特征和头部位置特征；所述脸部特征包括原图像中的脸部特征和原图像经过翻转后的翻转脸部特征；

将所述脸部特征和头部位置特征通过特征拼接获得二维特征；

基于所述二维特征获取注视视线区域的特征图；

基于所述注视视线区域特征图和原图像，利用基于BoTNet网络的特征金字塔网络获取注视热力图；所述BoTNet网络为利用多头Self-Attention替换ResNet网络中的3x3convolution后的网络。

2.如权利要求1所述的方法，其特征在于，所述提取原图像中的脸部特征包括：

利用ResNet模型提取原图像中的脸部特征。

3.如权利要求2所述的方法，其特征在于，所述利用ResNet模型提取原图像中的脸部特征包括：

S11、将原图像中眼睛坐标加减0.15得到脸部坐标，然后根据脸部坐标裁剪得到脸部图像；

S12、利用ResNet模型基于脸部图像提取原图像中的脸部特征；

S13、将原图像经过水平翻转后获取原图像的翻转图像，并将翻转图像经过所述S11和S12步骤提取翻转脸部特征。

4.如权利要求1所述的方法，其特征在于，所述基于所述注视视线区域特征图和原图像，利用基于BoTNet网络的特征金字塔网络获取注视热力图；所述BoTNet网络为利用多头Self-Attention替换ResNet网络中的3x3convolution后的网络包括：

利用多头Self-Attention替换ResNet网络中的3x3convolution后得到BoTNet网络，并将注视视线区域特征图和原图像一同送入以BoTNet网络为主干网络的特征金字塔网络的Heatmappathway中，生成注视热力图。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

在获取注视热力图之前对基于BoTNet网络的特征金字塔网络进行训练。

6.一种基于视线估计的目标注视识别系统，其特征在于，所述系统包括：

特征提取模块，用于提取原图像中的脸部特征和头部位置特征；所述脸部特征包括原图像中的脸部特征和原图像经过翻转后的翻转脸部特征；

特征拼接模块，用于将所述脸部特征和头部位置特征通过特征拼接获得二维特征；

视线区域特征图获取模块，用于基于所述二维特征获取注视视线区域的特征图；

注视热力图获取模块，用于基于所述注视视线区域特征图和原图像，利用基于BoTNet网络的特征金字塔网络获取注视热力图；所述BoTNet网络为利用多头Self-Attention替换ResNet网络中的3x3convolution后的网络。

7.如权利要求6所述的系统，其特征在于，所述特征提取模块提取原图像中的脸部特征包括：

利用ResNet模型提取原图像中的脸部特征。

8.如权利要求7所述的系统，其特征在于，所述特征提取模块利用ResNet模型提取原图像中的脸部特征包括：

S11、将原图像中眼睛坐标加减0.15得到脸部坐标，然后根据脸部坐标裁剪得到脸部图像；

S12、利用ResNet模型基于脸部图像提取原图像中的脸部特征；

S13、将原图像经过水平翻转后获取原图像的翻转图像，并将翻转图像经过所述S11和S12步骤提取翻转脸部特征。