[发明专利]视频数据的处理方法、装置和电子系统

说明书

本发明提供了一种视频数据的处理方法、装置和电子系统；该方法包括：将目标视频划分为关键帧和普通帧；对于关键帧，将关键帧输入任务模型，输出关键帧的计算结果；对于普通帧，获取普通帧与参考关键帧之间的掩膜，其中，掩膜具有前景运动区域和背景静止区域；参考关键帧为与普通帧最近的关键帧；根据掩膜的前景运动区域确定普通帧对应的特征区域；根据参考关键帧、特征区域和任务模型，获取普通帧的计算结果。该方法中，没有将普通特征全部输入任务模型，而只是将特征区域输入任务模型，可以在保持卷积计算效果不下降的基础上，减少神经网络的计算量，降低数据带宽和功耗，实现实时计算。

技术领域

本发明涉及视频数据处理技术领域，尤其是涉及一种视频数据的处理方法、装置和电子系统。

背景技术

视频数据是在IoT(Internet of Things，物联网)场景中非常常见的数据形式。目前基于神经网络的对视频数据进行物体检测、语义分割、视频降噪等任务，通常是将视频看成一个图片集，进而对视频每一帧进行单独地处理。

相关技术中，通常是将视频的每一帧作为一个图片，将这些图片全部输入卷积神经网络进行计算。对于高分辨率的视频而言帧数较高，需要巨大的计算量。并且，视频数据具有很大的时间空间冗余性。在相机不发生运动的情况下，一段时间内的若干帧画面可能会有大面积的内容是相同的。因此，如果将视频每一帧都输入神经网络进行计算，意味着会有很大的计算力浪费，以及占用较大的数据带宽，会造成功耗增加、散热困难，难以实现实时计算等问题。

发明内容

有鉴于此，本发明的目的在于提供一种视频数据的处理方法、装置和电子系统，以减少神经网络的计算量，降低数据带宽和功耗，实现实时计算。

第一方面，本发明实施例提供了一种视频数据的处理方法，方法包括：将目标视频划分为关键帧和普通帧；对于关键帧，将关键帧输入任务模型，输出关键帧的计算结果；对于普通帧，获取普通帧与参考关键帧之间的掩膜，其中，掩膜具有前景运动区域和背景静止区域；参考关键帧为与普通帧最近的关键帧；根据掩膜的前景运动区域确定普通帧对应的特征区域；根据参考关键帧、特征区域和任务模型，获取普通帧的计算结果。

在本发明较佳的实施例中，上述方法中的任务模型包括多个卷积层，根据关键帧、特征区域和任务模型进行卷积处理包括：对于任务模型中的第L+1层卷积层，执行：获取输入信息；输入信息包括：第L层卷积层输出的关键帧对应的关键特征和普通帧对应的普通特征；其中，第一层卷积层的输入信息中的关键特征为关键帧，普通特征为普通帧；对第L层卷积层对应的关键特征进行卷积，输出第L+1层卷积层对应的关键特征；对第L层卷积层对应的普通特征的特征区域进行卷积操作，得到第L+1层卷积层对应的局部特征；特征区域通过掩膜选取；将第L+1层卷积层对应的局部特征和第L+1层卷积层对应的关键特征进行融合，输出第L+1层卷积层对应的普通特征。

在本发明较佳的实施例中，上述掩膜中为1的区域为前景运动区域，掩膜中为0的区域为背景静止区域；通过掩膜选取第L层卷积层对应的普通帧的特征区域的步骤，包括：将普通帧中差异区域对应的特征作为特征区域；其中，差异区域为掩膜中为1的区域。

在本发明较佳的实施例中，上述将第L+1层卷积层对应的局部特征和第L+1层卷积层对应的关键特征进行融合，输出第L+1层卷积层对应的普通特征的步骤，包括：将第L+1层卷积层对应的关键特征中的局部区域对应的特征替换为第L+1层卷积层对应的局部特征；其中，局部区域为第L+1层卷积层对应的局部特征对应的区域。

在本发明较佳的实施例中，上述目标视频的第一个关键帧为初始视频帧，其余关键帧为与相邻的前一个关键帧的具有差异的区域的比例大于预设阈值的视频帧，除关键帧之外的视频帧为普通帧。