[发明专利]在视频监控中采用视线跟踪的人机交互装置和方法

权利要求书

1.一种在视频监控中采用视线跟踪的人机交互装置，其特征在于包括采用非入侵式的人脸眼部图像视频采集单元、四周设置有红外参考点光源的监视屏幕、视线跟踪图像处理模块和人机交互界面控制模块；通过与人机交互界面控制模块的数据传递，实现对监控系统的控制；其中：

人脸眼部图像采集单元是设置在使用者所观察的监控屏幕附近的摄像头，用于拍摄使用者脸部区域；该摄像头镜头上设有红外滤光片，在滤除可见光保留红外波段光同时，摄像头的感光元件CCD或CMOS感光元件对红外波段光感光；摄像头所拍摄的图像内容包含了使用者的双目图像，通过视线跟踪图像处理模块分离出用户的双目局部图像，再进一步对图像处理分析和人眼盯视位置，识别估计出使用者的盯视位置；

监视屏幕四周设置的红外参考点光源采用LED点光源，共4组，在监视屏幕矩形边框四角处各设置一组；它们通过视线跟踪图像处理模块，依据需要输出的脉冲宽度调制信号，调节其亮度；

视线跟踪图像处理模块接收并处理来自用黑白摄像头拍摄的灰度图像，处理过程分为前端的图像增强步骤和特征提取部分以及后端人眼盯视位置计算步骤，两个步骤级联将最终的结果数据送入人机交互界面控制模块；

基于视线跟踪的人机交互界面控制模块，包括将监控屏幕上交互界面的分为内层和外环形2个功能区域，视频矩阵切换选择，视线轨迹识别控制，完成在视频监控领域中涉及的操控；其中所采用的交互方式都采用使用者的视线在屏幕上的视线盯视位置和视线盯视轨迹；

所述将屏幕区分为内层和外环区域2个功能区域，视线在不同区域的落点对应不同类型的控制事件：在内层区域主要通过视线控制视频监控的远程摄像头运动姿态，摄像头的运动速度与视线落点距屏幕中央区域的距离有关，距离越远对应的操控运动速度也就越快，使得使用者能够自然随意地控制摄像头运动速度；内层区域用于负责控制拍摄当前监控屏幕内容的摄像机方位角和俯仰角的拍摄位置角度，外层区域用于负责该摄像机的焦距、缩放、白平衡、光圈摄像机图像拍摄属性的控制以及视频监控中需要的其它菜单功能；

当视线落在外环形区域内时，在外环区域主要通过视线选择功能菜单，而相应侧按照关联程度分组的功能菜单会从屏幕的边缘移出供使用者选择；该菜单的特征是通过半透明的方式叠加在原始图像中；在菜单功能选中时，被选中的地功能框会与周围其他功能框形成鲜明反差；

外环和内层组成的完整监视屏区域将显示完整的监视视频图像；

人机交互界面系统同时支持对于视频矩阵的选择和切换，用户在视频矩阵切换中对于着重感兴趣的视频图像在使用者视线盯视超过一段时间后，被盯视的图像边框会高亮与其它图像边框形成鲜明反差，并且该块被注视图像从视频矩阵中的一个区域逐渐放大直到充满整个监控屏幕。

2.根据权利要求1所述的采用视线跟踪的人机交互装置，其特征在于所述的视线跟踪图像处理模块中，进行图像分析处理子模块流程如下：

1)通过摄像头采集使用者的脸部图像；

2)对输入图像进行白平衡、直方图均衡化的图像增强预处理；

3)通过水平投影、水平方差确定人眼待选区域；

4)在待选区域进行垂直投影，结合人眼区域的合理宽度得到左右眼的子图像区域；

5)如果找不到左右眼图像区域调整图像增强与处理参数重复步骤(2)；

6)分别对左右眼图像进行降噪、中值滤波的增强；再对子图像进行填充膨胀处理，统计连通区域，所得的最大闭合连通区域为角膜区域；

7)采用sobel算子提取图像边界，并对边界图像进行Hough变换计算瞳孔中心区域；

8)在子图像中角膜区域内识别高反光参考点，得到四个点坐标；

9)如果在找不到参考点的情况下调节红外LED参考点的亮度重复步骤(1)。

3.根据权利要求1所述的采用视线跟踪的人机交互装置，其特征在于所述的视线跟踪图像处理模块中，人眼盯视位置估计子模块的具体步骤如下：

1)让使用者分别盯视屏幕中确定的几个区域进行内部参数校正；

2)从图像处理识别模块中获取左右眼图像中瞳孔中心区域坐标以及红外参考点坐标；

3)利用出示校正系数修正坐标，减小不同用户和图像畸变造成的影响；

4)通过交比变换的方式将图像坐标参考系中的参数映射对应到监控屏幕的坐标系中得到视线落点；

5)依据历史落点和当前落点位置估计视线落点的移动速度，依据速度不同区分移动操作和轨迹识别操作。

4.一种采用视线跟踪的人机交互界面控制方法，其特征在于具体步骤如下：

该方法包括将监控屏幕上交互界面的分为内层和外环形2个功能区域；视频矩阵切换选择；视线轨迹识别控制；完成在视频监控领域中涉及的操控；其中所采用的交互方式都采用使用者的视线在屏幕上的视线盯视位置和视线盯视轨迹；

其中，将屏幕区分为内层和外环区域2个功能区域，视线在不同区域的落点会对应不同类型的控制事件：在内层区域主要通过视线控制视频监控的远程摄像头运动姿态，摄像头的运动速度与视线落点距屏幕中央区域的距离有关，距离越远对应的操控运动速度也就越快，使得使用者能够自然随意地控制摄像头运动速度；内层区域用于负责控制拍摄当前监控屏幕内容的摄像机方位角和俯仰角的拍摄位置角度，外层区域用于负责该摄像机的焦距、缩放、白平衡、光圈等摄像机图像拍摄属性的控制以及视频监控中需要的其它菜单功能；

当视线落在外环形区域内时，在外环区域主要通过视线选择功能菜单，而相应侧按照关联程度分组的功能菜单会从屏幕的边缘移出供使用者选择；该菜单的特征是通过半透明的方式叠加在原始图像中；在菜单功能选中时，被选中的地功能框会与周围其他功能框形成鲜明反差；

人机交互界面系统同时支持对于视频矩阵的选择和切换，用户在视频矩阵切换中对于着重感兴趣的视频图像在使用者视线盯视超过一段时间后，被盯视的图像边框会高亮与其它图像边框形成鲜明反差，并且该块被注视图像从视频矩阵中的一个区域逐渐放大直到充满整个监控屏幕。