[发明专利]一种基于AVS运动估计编码的DVS数据生成方法

说明书

一种基于AVS运动估计编码的DVS数据生成方法，S1.读取视频；S2.获取运动估计：获取相同参考帧的相邻预测帧的运动估计，计算两个相邻预测帧的残差；以及S3.生成DVS数据：利用AVS和DVS运动估计的相似性，根据相邻预测帧的残差，生成DVS数据。本发明方法可以在计算量较低的情况下有效生成DVS模拟数据，以此解决在使用视频生成DVS模拟数据时因光流算法运动估计导致生成DVS数据计算量大的问题，并快速生成DVS数据。

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于AVS运动估计编码的DVS数据生成方法。

背景技术

随着智能终端设备的普及，设备中搭载的传感器也越来越多元化。DVS(DynamicVision Sensor，动态视觉传感器，也称为事件相机)，是近年来新兴的计算机视觉传感器。DVS主要用于采集区域范围内像素的变换情况，特别是物体运动产生的像素变化，通过统计这些变化，获取物体运动的信息。DVS相比于普通摄像头，它不返回彩色图像，而是返回事件图，即返回区域范围内物体运动的位置、方向和时间戳，主要用于运动和变化情况的数据采集，因其具有速度快、隐私保护好、数据量少等特点，受到业界的青睐和关注。但是，由于目前DVS还没有被大规模商业应用，DVS采集的数据还比较少，而基于深度学习的神经网络算法，在DVS相关算法设计和训练时，需要海量的训练数据集。目前大都采用光流算法模拟生成DVS数据，但光流法计算需要消耗大量的算力。与此同时，由中国主导的数字音视频编解码标准(Audio Video coding Standard，简称AVS)，正在逐步推广使用，目前已推出第三代AVS3标准。在AVS标准中，视频编码具备运动估计的功能，视频帧之间发生变化的像素块的运动矢量，将通过运动估计功能模块被计算出来。

在现有技术中，一般将视频流数据，解码成一个个完整的图像帧，然后光流算法对视频进行运动估计，这样将导致解码出大量冗余数据，并因光流算法消耗巨大的计算量，尤其是基于深度神经网络的光流法。

发明内容

本发明提供了一种基于AVS运动估计编码的DVS数据生成方法，利用AVS运动估计编码的特性，模拟生成DVS数据，将RGB视频使用AVS编码器编码得到运动矢量，运动矢量通过DVS编码器编码生成DVS模拟数据，从而实现在计算量较低的情况下的DVS数据生成。本发明方法可以在计算量较低的情况下有效生成DVS模拟数据，以此解决在使用视频生成DVS模拟数据时因光流算法运动估计导致生成DVS数据计算量大的问题，并快速生成DVS数据。

本发明的技术方案如下：

一种基于AVS运动估计编码的DVS数据生成方法，包括以下步骤：S1.读取视频；S2.获取运动估计：获取相同参考帧的相邻预测帧的运动估计，计算两个相邻预测帧的残差；以及S3.生成DVS数据：利用AVS和DVS运动估计的相似性，根据相邻预测帧的残差，生成DVS数据。

优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S1中，使用AVS编解码器，对视频进行编解码，将其他格式的视频使用AVS编码器进行格式转换，使用AVS解码器进行视频解码，得到AVS解码后的视频数据流。

优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S2中，利用AVS解码器可读取运动估计矢量的功能，获取视频帧的运动估计矢量，计算两个相邻预测帧的残差。

优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S2中，确定当前视频帧相对于相邻的前一帧视频，像素块发生变化的位置以及相应像素块的运动方向和时间戳。

优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S2中，在数据计算时，根据视频的帧率，模拟生成一个时间戳，其公式为：

其中，t_n为第n帧的时间戳，n为第n帧，F为视频帧率。