[发明专利]一种人眼感兴趣物体的位姿识别方法、装置及系统

权利要求书

1.一种人眼感兴趣物体的位姿识别方法，其特征在于，包括如下步骤：

S1利用眼动仪上的左眼相机(6)和右眼相机(7)分别识别用户的左右瞳孔的中心以此提取人眼的信息；

S2将识别获得的左右瞳孔中心映射至前景左相机(4)中以得到二维凝视点；

S3利用目标识别与追踪算法提取前景左相机(4)中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；

S4对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机(4)中的位姿；

S5将感兴趣物体在前景左相机(4)中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿；

步骤S1包括如下子步骤：

S11分别采集左眼相机(6)和右眼相机(7)拍摄的图像并进行平滑处理以获得平滑后的灰度图；

S12将平滑后的灰度图送入边缘检测器中得到边缘点，并进行过滤处理以滤除杂点留下瞳孔边界对应的边缘点，留下的瞳孔边界对应的边缘点构建为瞳孔边缘点集；

S13对瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标(x_l，y_l)和(x_r，y_r)；

利用随机抽样一致性算法对瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标，具体为：

S131从瞳孔边缘点集中随机选取5个点以拟合出椭圆的平面参数方程；

S132计算瞳孔边缘点集中所有内点到椭圆的支撑函数值；

S133重复步骤S131～S132预设次数，获取使支撑函数值最大时对应的椭圆的参数方程，该椭圆的中心即为瞳孔中心；

所述椭圆的平面参数方程为：

Q(x，y)＝Ax2+Bxy+Cy2+Dx+Ey+F

式中，A～F为待求系数；

内点定义为：inliers＝{(x，y)|error(Q，x，y)ε}

式中，其为损失函数，α是归一化系数，ε为预设值，为椭圆Q(x，y)上内点(x，y)处的法线；

支撑函数定义为：

式中，a，b分别为椭圆的长轴和短轴，为内点(x，y)的灰度梯度。

2.如权利要求1所述的人眼感兴趣物体的位姿识别方法，其特征在于，步骤S2利用高斯过程回归算法将瞳孔中心的坐标(x_l，y_l)和(x_r，y_r)映射到前景相机中得到凝视点(x_s，y_s)，具体采用如下公式计算：

其中，为期望值，其为二维向量，对应凝视点(x_s，y_s)，X为训练集中左右瞳孔中心坐标组成的4维向量的集合，x_*为实际测得的左右瞳孔中心坐标组成的4维向量，K(x_*，X)为实际测得的x_*与训练集X之间的n×1协方差矩阵，K(X，X)为训练集的对称正定协方差矩阵，f为训练集中前景左相机上凝视点坐标的集合。

3.如权利要求1所述的人眼感兴趣物体的位姿识别方法，其特征在于，步骤S3利用目标识别与追踪算法提取前景左相机中的物体具体为：

首先，利用目标识别算法识别得到前景左相机中物体的锚框，利用物体锚框初始化追踪算法中的追踪目标，该目标识别算法和追踪算法同步进行；

然后，初始化后的追踪算法进行物体的追踪，若跟丢物体，则利用目标识别算法的结果重新初始化追踪算法，从而提高前景相机中物体识别成功率。