[发明专利]在视频监控中采用视线跟踪的人机交互装置和方法

摘要

本发明属于视频监控技术领域，具体涉及一种在视频监控中采用人眼视线跟踪的人机交互装置和方法。包括采用非入侵式的人脸眼部图像视频采集单元、在四周设置有红外参考光源的监视屏幕、视线跟踪图像处理模块和人机交互界面控制模块。其中视线跟踪图像处理单元将捕捉的人脸图像中分离出左、右眼的双目子图像，并分别对两幅子图像识别和估计人眼视线盯视位置相对与监控屏幕的位置。本发明同时提出了对于视线跟踪特点提出的一种高效人机界面交互方式，其中包括采用视线选择功能菜单，切换监控视频内容，调节远程监控摄像头的焦距拍摄视角等都可以采用本发明公开的统一化的人机交互方式，提高操作视频监控设备和系统的效率。

主权项

一种在视频监控中采用视线跟踪的人机交互装置，其特征在于包括采用非入侵式的人脸眼部图像视频采集单元、四周设置有红外参考点光源的监视屏幕、视线跟踪图像处理模块和人机交互界面控制模块；通过与人机交互界面控制模块的数据传递，实现对监控系统的控制；其中：人脸眼部图像采集单元是设置在使用者所观察的监控屏幕附近的摄像头，用于拍摄使用者脸部区域；该摄像头镜头上设有红外滤光片，在滤除可见光保留红外波段光同时，摄像头的感光元件CCD或CMOS感光元件对红外波段光感光；摄像头所拍摄的图像内容包含了使用者的双目图像，通过视线跟踪图像处理模块分离出用户的双目局部图像，再进一步对图像处理分析和人眼盯视位置，识别估计出使用者的盯视位置；监视屏幕四周设置的红外参考点光源采用LED点光源，共4组，在监视屏幕矩形边框四角处各设置一组；它们通过视线跟踪图像处理模块，依据需要输出的脉冲宽度调制信号，调节其亮度；视线跟踪图像处理模块接收并处理来自用黑白摄像头拍摄的灰度图像，处理过程分为前端的图像增强步骤和特征提取部分以及后端人眼盯视位置计算步骤，两个步骤级联将最终的结果数据送入人机交互界面控制模块；基于视线跟踪的人机交互界面控制模块，包括将监控屏幕上交互界面的分为内层和外环形2个功能区域，视频矩阵切换选择，视线轨迹识别控制，完成在视频监控领域中涉及的操控；其中所采用的交互方式都采用使用者的视线在屏幕上的视线盯视位置和视线盯视轨迹；所述将屏幕区分为内层和外环区域2个功能区域，视线在不同区域的落点对应不同类型的控制事件：在内层区域主要通过视线控制视频监控的远程摄像头运动姿态，摄像头的运动速度与视线落点距屏幕中央区域的距离有关，距离越远对应的操控运动速度也就越快，使得使用者能够自然随意地控制摄像头运动速度；内层区域用于负责控制拍摄当前监控屏幕内容的摄像机方位角和俯仰角的拍摄位置角度，外层区域用于负责该摄像机的焦距、缩放、白平衡、光圈摄像机图像拍摄属性的控制以及视频监控中需要的其它菜单功能；当视线落在外环形区域内时，在外环区域主要通过视线选择功能菜单，而相应侧按照关联程度分组的功能菜单会从屏幕的边缘移出供使用者选择；该菜单的特征是通过半透明的方式叠加在原始图像中；在菜单功能选中时，被选中的地功能框会与周围其他功能框形成鲜明反差；外环和内层组成的完整监视屏区域将显示完整的监视视频图像；人机交互界面系统同时支持对于视频矩阵的选择和切换，用户在视频矩阵切换中对于着重感兴趣的视频图像在使用者视线盯视超过一段时间后，被盯视的图像边框会高亮与其它图像边框形成鲜明反差，并且该块被注视图像从视频矩阵中的一个区域逐渐放大直到充满整个监控屏幕。