[发明专利]一种基于事件相机的卷积递归神经网络眼部检测方法

说明书

一种基于事件相机的卷积递归神经网络眼部检测方法，包括步骤：从事件相机得到事件流数据，将事件流数据转化为事件图像；对事件图像进行去噪处理以及统一事件图像的分辨率；将事件图像放入卷积神经网络中，进行训练；以及通眨眼检测过非极大值抑制得到置信度较高的检测结果。本方法为使用事件数据进行脸部眼部检测追踪以及眨眼检测提供了一个可行的方法，解决常用记录相机帧率不足的情况，更高的时间分辨率和动态适应每个任务的帧率的能力。

技术领域

本发明属于计算机视觉领域，特别涉及一种基于事件相机的卷积递归神经网络眼部检测方法。

背景技术

眼部检测和追踪主要是基于计算机视觉的人眼检测与跟踪技术具有低侵入性、高精度等优势,现已成为眼动研究的主流方法。人眼检测与跟踪是人脸识别、表情识别、眼动分析、虹膜识别等技术的必要步骤，涉及图像处理、计算机视觉、模式识别以及认知心理学等多个学科,并在工业检测、智能机器人、人机交互、公共安全、智能交通、心理学、医学诊断以及军事侦察等领域均有广泛的应用。

现有的人眼检测与跟踪算法是存在一些客观问题的，其中最为关键的是精确定位并跟踪人眼的算法都建立在高质量的成像设备之上的。但是传统的记录相机帧率都在25帧左右的完全达不到所需的帧率，而且目前从低质量人脸图像中精确获取人眼位置的算法还是欠缺的，从而导致高质量记录设备价格昂贵且对用户束缚较多，应用范围受到很大的限制。由于眼部运动速度快，而且需要检测和追踪的眼部目标小，所以在进行眼部追踪的过程中，普通的摄像头容易产生运动模糊，即相机的更新速度无法快于眼球和瞳孔的运动速度，影响眼部的检测和追踪眼部的效果。

事件传感器或动态视觉传感器(DVS)是新颖的、受生物启发的异步视觉采集设备。与标准的基于帧的传感相比，单个像素异步报告强度变化的“事件”流。事件摄像机与传统摄像机相比具有几个显着优势包括毫秒级分辨率、高动态范围和低功耗。对于大多数传统相机来说，除了眨眼频率之外，分析眨眼模式的细节是很困难的。在每秒30帧的情况下，眨眼通常会持续5帧，而准确的眨眼分析可能需要超过100帧的帧速率。

发明内容

本发明的目的是提供一种基于事件相机的卷积递归神经网络眼部检测方法，利用事件相机对人脸进行数据采集并进行去噪处理和固定分辨率大小便于后续神经网络的处理，然后利用深度学习的卷积递归神经网络技术对数据集进行处理和训练，从而检测出面部和眼部同时进行跟踪，为使用事件数据进行脸部眼部检测追踪以及眨眼检测提供了一个可行的方法，解决常用记录相机帧率不足的情况，更高的时间分辨率和动态适应每个任务的帧率的能力。

本发明的技术方案如下：

一种基于事件相机的卷积递归神经网络眼部检测方法，包括以下步骤：S1.从事件相机得到事件流数据，将事件流数据转化为事件图像；S2.对所述事件图像进行去噪处理以及统一事件图像的分辨率；S3.将事件图像放入卷积神经网络中，进行训练；以及S4.通眨眼检测过非极大值抑制得到置信度较高的检测结果。

优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S1中，将所述事件相机设置在合适的位置，从事件相机获取事件流数据，输出异步事件流数据，所述事件流数据称为地址事件表达协议，每一个数据都包括时间戳、像素坐标与极性，固定一个时间段，从所述事件相机获取在这一段时间内的事件的事件流数据，并生成事件图像。

优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S1中，将所述事件相机安装平面的桌上或者任何可以记录面部图像的位置，采集以脸部正面侧面为主的角度数据。

优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S2中，所述去噪处理包括设定一个阈值，当事件数量小于阈值时该事件则被当作噪点被去除，最后形成去除噪声后的事件图像，以及将得到的事件图像转化为分辨率能被卷积神经网络(CNN)接受的图像大小以便于后续卷积神经网络的处理。