[发明专利]一种面向时空事件脉冲流的目标区域分割方法及系统

说明书

本发明公开一种面向时空事件脉冲流的目标区域分割方法及系统，属于视频分割领域。本发明通过将连续的事件脉冲流转化为特定的输入表示，有效的适配传统神经网络的输入；通过循环神经网络提取信息并记忆过去特征，提高模型对连续事件脉冲输入的特征提取能力；通过循环特征编码器匹配目标，同时更新的隐藏状态，建模时空关系，提高模型对目标的查询匹配能力；通过特征解码器获取目标在当前与过去时刻的注意力关系矩阵，提高模型对特征匹配的鲁棒性；通过跳跃连接将中间特征输入分割头，提高目标区域分割模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。本发明适配低光、高速场景，且能够分割任意时刻的目标区域。

技术领域

本发明涉及一种面向时空事件脉冲流的目标区域分割方法及系统，尤其涉及一种低光照、高速环境下的目标区域分割方法，属于视频物体分割领域。

背景技术

视频物体分割方法是计算机视觉的一个基本任务，在人机交互、自动驾驶、目标跟踪等许多领域得到了广泛应用。近年来使用深度学习方法进行视频物体分割取得了长足的发展，并成为该类问题的主流解决方式。然而，现有的方法都是基于传统的视觉传感器来获得图片模态的数据，这已经越来越不能满足现有视觉任务的需求，尤其是在涉及到低光照、高动态、高速的场景时不能产生良好的分割结果。这主要是由两个原因导致的：(1)这些传感器通常按照预设的固定频率对场景进行完整采样，而这种采样方式不能自适应场景的动态变化，导致在低光场景下没有捕捉到足够的信息。(2)采集到的图片在时间上不连续，帧间运动信息未被记录，而在高速场景下传统的视觉传感器往往会造成严重的动态模糊，对目标分割产生不利的影响。

根据生物视网膜的视觉采样机制的原理，一系列采集脉冲阵列信号的新型相机逐渐进入人们视野，包括根据光照强度的变化发放脉冲信号的传感器，如动态视觉传感器(Dynamic Vision Sensor,DVS)、基于异步时间的图像传感器(Asynchronous Time-basedimage Sensor,ATIS)、动态有源像素视觉传感器(Dynamic and Active Pixel VisionSensor,DAVIS)等；基于光照强度累积强度发放信号的传感器，如脉冲相机(Vidar)等。与传统相机的采样方式不同，这种摄像机的传感器采集一定时间，一定区域内光信号的信息，具有低运动模糊、高动态范围、高时间分辨率等优点。

近年来，时空事件脉冲流已被应用于多种计算机视觉任务，如：物体分类、目标检测、语义分割、深度估计等，并已取得一定的成果。这种数据模态仍有极大的潜力，并有望解决传统图片模态所不能适配的场景。

发明内容

针对现有的视频物体分割方法不能很好的适配低光、高速场景，本发明主要目的是提供一种能够在上述场景下进行准确目标区域分割的方法及系统。依据时空事件脉冲流的数据特性，通过将连续的事件脉冲流转化为特定的输入表示，以此来适配传统神经网络的输入；通过循环神经网络提取信息并记忆过去特征，提高目标区域分割模型对连续事件脉冲输入的特征提取能力；通过循环特征编码器匹配目标，同时更新的隐藏状态，建模时空关系，提高模型对目标的查询匹配能力；通过特征解码器获取目标在当前与过去时刻的注意力关系矩阵，提高模型对特征匹配的鲁棒性；通过跳跃连接将中间特征输入分割头，提高模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。本发明不仅能够在低光、高速场景下取得准确的分割结果，还能够分割任意时刻的目标区域。

本发明的目的通过如下技术方案实现。

本发明公开的一种面向时空事件脉冲流的目标区域分割方法，包含以下步骤：

步骤101：通过事件脉冲相机采集时空事件脉冲流E，为了适配神经网络的输入形式，利用体素能够保留事件在时间维度信息、且能够表征事件空间分布的优点，根据事件体素转换关系，将连续时空事件脉冲流E转化为适配神经网络的输入表示V。

所述连续的时空事件脉冲流E，包括但不限于：事件相机产生的事件数据、脉冲相机产生的脉冲数据。