[发明专利]一种二维图像中人眼凝视方向的标注装置、系统和方法

说明书

本发明公开了一种二维图像中人眼凝视方向的标注装置、系统和方法，属于计算机视觉与机器学习技术领域，装置包括：手持支架和装载在其中的数字倾角仪；标注者操作手持支架使标注装置的指示方向与二维图像中目标人眼的凝视方向保持一致，此时标注者输入采集启动指令；数字倾角仪，根据标注者输入的采集启动指令采集标注装置的三维姿态从而获取目标人眼的三维方向信息。本申请在标注者操作下使标注装置的指示方向与二维图像中目标人眼的凝视方向保持一致，根据标注者输入的采集启动指令采集标注装置的三维姿态，从而获取目标人眼的三维方向信息，由此解决当前图像人眼凝视标注昂贵、适用性窄的技术问题。

技术领域

本发明属于计算机视觉与机器学习技术领域，更具体地，涉及一种二维图像中人眼凝视方向的标注装置、系统和方法。

背景技术

人眼凝视方向是理解人类意图、思想的重要渠道，可通过非言语、动作的交流来分析人类在社交交互中的兴趣和注意力。基于图像的人眼凝视方向估计是计算机视觉与机器学习领域的重要分支，引来近年来众多学者的关注，其借助深度神经网络的表达能力，对大量标注人眼凝视方向的数据集进行学习，取得很大的进展。然而，在无约束的日常场景(非实验室)中，收集准确的人眼凝视方向标注较为困难，致使数据集的尺度与多样性受限。当前的图像人眼凝视方向标注与数据收集主要存在三种方法：(1)使用眼动仪来记录视线的位置，再利用图像生成的算法消除图像中的眼镜；(2)预先定义现实场景中的物理坐标，引导人员注视并记录图像；(3)利用人体交互数据集，采集2D图像凝视交互关系，补充弱监督数据。

这些方法存在以下几个问题：(1)眼动仪使用限制较多，需在实验室环境下佩戴并采集图像，无法使用已有图像数据，难以提供多样性的人员与场景，且图像生成去除眼镜的算法易带来噪声和误差；(2)预定义的物理坐标标注成本高昂，未考虑交互下人眼相互凝视的场景；(3)人体交互数据集虽考虑到社交交互场景，但其标注的为三维凝视方向投影到二维平面的方向数据，未捕获到准确的3D凝视方向。

综上，昂贵的标注成本与受限的采集环境，增大了人眼凝视方向数据集的收集的难度，制约图像人眼凝视估计任务的发展，亟需一种适用性广、经济的图像人眼凝视方向标注方法与装置。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种二维图像中人眼凝视方向的标注装置、系统和方法，其目的在于在标注者操作下使所述标注装置的指示方向与所述二维图像中目标人眼的凝视方向保持一致，用于根据所述标注者输入的采集启动指令采集所述标注装置的三维姿态，从而获取所述目标人眼的三维方向信息，由此解决当前图像人眼凝视标注昂贵、适用性窄的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种二维图像中人眼凝视方向的标注装置，包括：

手持支架，在标注者操作下使所述标注装置的指示方向与所述二维图像中目标人眼的凝视方向保持一致；其中，当所述指示方向与所述目标人眼的凝视方向一致时所述标注者输入采集启动指令；

数字倾角仪，装载在所述手持支架中，用于根据所述标注者输入的采集启动指令采集所述标注装置的三维姿态，从而获取所述目标人眼的三维方向信息，所述三维方向信息包括X、Y和Z三个方向的角度信息。

在其中一个实施例中，所述手持支架设有：

装载模块，为中部凹槽结构，所述中部凹槽用于装载所述数字倾角仪；

手持模块，设置在所述装载模块的第一端，便于所述标注者依据视觉观测操作所述标注装置。

在其中一个实施例中，所述手持支架还设有：

图像接触模块，设置在所述装载模块的第二端，用于接触所述二维图像中目标人眼区域，以便于确定所述三维方向信息对应的凝视方向箭头的起点。

在其中一个实施例中，所述图像接触模块接触所述二维图像的一端呈平滑的半球状，以便于在所述二维图像滚动搜寻所述目标人眼区域。