[发明专利]在视频监控中采用视线跟踪的人机交互装置和方法

说明书

技术领域

本发明属于视频监控技术领域，具体涉及一种采用视觉跟踪进行操控的人机交互装置和方法。

背景技术

在现有的视频监控领域中，经常通过监控指挥室收集和记录在视频监控网络中所有摄像头捕获的监控录像，同时监控室的职守人员通过视频墙、监控屏幕等观察从高速球机、固定相机等传送的图像，依据使用者的需求调节操作台操控摄像机的拍摄角度、焦距调节、视频缩放、视频矩阵的切换、菜单选择等功能。在监控数据量的日益增加、远程摄像头连接数量增长，对于使用者操作技巧、强度和难度增大，同时随着监控画面的增加，甚至有时候使用者需要频繁地在上百路的实时监控画面选择中来回循环切换，而且在每路画面的监控中有时又需要多次改变摄像头或高速球机的焦距伸缩、拍摄方位角和水平角操控等，使得使用者难以应付在视平监控操作台上高强度的摇杆、菜单选择、按钮等操作动作。

采用视线跟踪作为视频监控领域中人机交互的方式是比较好的解决方法，但目前采用视频图像捕获人眼盯视位置的主流方法是通过视频头盔，装有双摄像头的眼睛架等入侵式设备。而这些设备在使用时，需要佩戴在使用者的头部或脸部上，人机友好性不佳，尤其是在多用户的情况下或者是频繁更换操作者的条件下，需要重新穿戴人眼图像捕获设备、位置重新校正等繁琐步骤。同时目前技术也缺乏针对于采用视线跟踪的特点而设计的人机交互界面，尤其是在视频监控领域需要长时间地多用户地使用视线跟踪设备，采用入侵式的图像采集方式使用者往往无法长时间地忍受佩戴采集设备通过视线操控，虽然部分解决了高强度的操作台，但发明人同时发现一些目前技术存在的问题：

1、采用穿戴式的图像采集设备人机友好性不强，使用者难以长时间穿戴使用。

2、视频监控中针对于视线跟踪的人机交互界面的相关技术还未充分利用监控屏幕的显示资源。

3、现有技术未能够完全利用视线轨迹路径作为一种输入信息方法。

4、视线跟踪操作与监控摄像头操控联动性不强，使用者感受不够直观。

综上所述，操作效率、人机界面友好性、交互性和与操控设备联动性方面在采用视线输入的视频监控领域问题有待于解决。

发明内容

本发明的目的在于提供一种用于在视频监控领域中的操作效率高、人机界面好、可替代现有视频监控操作台的采用视线跟踪的非入侵式人机交互装置，同时提供一种针对与视线跟踪作为人机交互方式的高效便捷操控方法。

本发明提出的人机交互装置，包括采用非入侵式的人脸眼部图像视频采集单元、四周设置有红外参考点光源的监视屏幕、视线跟踪图像处理模块和人机交互界面控制模块；通过与人机交互界面控制模块的数据传递，实现对监控系统的控制。其中：

人脸眼部图像采集单元是设置在使用者所观察的监控屏幕附近的摄像头，用于拍摄使用者脸部区域而无需用户佩戴任何辅助采集器具捕获使用者双目图像。该摄像头镜头上设有红外滤光片，可在滤除可见光保留红外波段光同时，摄像头的感光元件CCD(或CMOS感光元件)可以对红外波段光感光。本发明中仅采用一个黑白摄像头来捕获双目图像，采用这种技术方案的有益效果是既降低了图像采集设备的成本，又同时与使用者没有物理接触，增加了人机交互的友好性；其中摄像头所拍摄的图像内容包含了使用者的双目图像，通过视线跟踪图像处理模块分离出用户的双目局部图像，再进一步对图像处理分析和人眼盯视位置，识别估计出使用者的盯视位置。

监视屏幕四周设置的红外参考点光源采用LED点光源，共4组，在监视屏幕矩形边框四角处各设置一组。它们通过视线跟踪图像处理模块，依据需要输出的脉冲宽度调制(PWM)信号，调节其亮度。

视线跟踪图像处理模块：接收并处理来自用黑白摄像头拍摄的灰度图像，处理过程分为前端的图像增强步骤和特征提取部分以及后端人眼盯视位置计算步骤，两个步骤级联将最终的结果数据送入人机交互界面控制模块。这种图像采集方式，参考点设计以及本发明中对交比变换的应用可以较好地解决使用者在一定范围内头部运动对于识别视线落点准确性的影响。本发明针对上述的图像采集方式提出图像处理识别的步骤，包括对图像预处理、投影方差选取区域、图像降噪、膨胀填充、连通区域统计、边缘提取、Hough变换等一系列处理步序，经由参数校正、交比变换等从包含双眼的视频图像中提取人的盯视位置。

图像处理分析的子模块的具体步骤如下：

1.通过摄像头采集使用者的脸部图像；

2.对输入图像进行白平衡、直方图均衡化的图像增强预处理；

3.通过水平投影、水平方差确定人眼待选区域；

4.在待选区域进行垂直投影，结合人眼区域的合理宽度得到左右眼的子图像区域；