[发明专利]视频图像的实时稳像方法及装置

说明书

本发明提供一种视频图像的实时稳像方法及装置，该方法包括：第一数据处理模块接收图像序列，并确定参考帧图像；第二数据处理模块从图像序列中读取当前帧图像，将当前帧图像和参考帧图像，进行运动估计，获取运动矢量，并将运动矢量发送至第一数据处理模块进行存储；第一数据处理模块将接收到的运动矢量存储至矢量集合中，对矢量集合进行平滑处理，获取透视变换矩阵，并将透视变换矩阵发送至第二数据处理模块；第二数据处理模块接收透视变换矩阵，并利用透视变换矩阵和参考帧图像，输出稳像处理后的目标图像。本发明提供的视频图像的实时稳像方法及装置，能够在保证计算精度的前提下，采用硬件加速以提高算法效率，兼顾时效性和准确性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频图像的实时稳像方法及装置。

背景技术

视频稳像，是指对视频设备采集的原始视频序列进行处理，去除连续帧间的抖动。相比传统的机械稳像技术，电子稳像具备了成本低，功耗低，集成度高，灵活易配置修改，甚至稳像精度更高。但已有的电子视频稳像方法大多在采集视频之后，使用软件集中处理，更注重算法的效果，而鲜少关注算法的实时性。

电子稳像的原理就是要计算当前帧与参考帧的相对偏移，然后对当前帧进行反向补偿，达到稳像的目的。现有技术中，运动估计算法有块匹配法和光流法等。其中，块匹配算法通常是将一帧图像分成多个小块进行匹配，这种算法默认所划分的小块内的像素都朝一个方向运动，以求解一个全局最有优偏移量，但忽略了像素的深度变化。块匹配算法越复杂，准确性越高，耗时也随之增加。而光流法利用图像中亮度信息的视觉运动，采用微积分求解计算像素点的前后帧的位移矢量，估计图像的运动。光流法计算的特征点越多，计算精度越高，同时算法耗时严重，难以达到实时应用。因此，现有技术的电子稳像方法无法同时兼顾时效性和准确性。

发明内容

本发明提供一种视频图像的实时稳像方法及装置，用以解决现有技术中无法同时兼顾时效性和准确性的缺陷，实现利用FPGA+ARM的平台架构下，由FPGA处理计算量大的运算，ARM处理计算量小的运算，能够采用硬件加速以提高算法效率，兼顾时效性和准确性。

本发明提供一种视频图像的实时稳像方法，包括：

第一数据处理模块接收图像序列，并确定参考帧图像；

第二数据处理模块从所述图像序列中读取当前帧图像，将所述当前帧图像和所述参考帧图像，进行运动估计，获取运动矢量，并将所述运动矢量发送至所述第一数据处理模块进行存储；

所述第一数据处理模块将接收到的所述运动矢量存储至矢量集合中，对所述矢量集合进行平滑处理，获取透视变换矩阵，并将所述透视变换矩阵发送至所述第二数据处理模块；

所述第二数据处理模块接收所述透视变换矩阵，并利用所述透视变换矩阵和所述参考帧图像，输出稳像处理后的目标图像；

其中，所述图像序列包括实时采集的视频图像数据，所述第一数据处理模块包括ARM，所述第二数据处理模块包括FPGA。

根据本发明提供的一种视频图像的实时稳像方法，所述将所述当前帧图像和所述参考帧图像，进行运动估计，获取运动矢量，包括：

所述第二数据处理模块中的目标模组根据所述当前帧图像和所述参考帧图像，获取匹配点集合；

所述目标模组将所述匹配点集合进行筛选，获取目标匹配点集合，并基于所述目标匹配点集合，获取所述运动矢量。

根据本发明提供的一种视频图像的实时稳像方法，所述对所述矢量集合进行平滑处理，获取透视变换矩阵，包括：

在所述矢量集合的矢量总数大于预设阈值的情况下，所述第一数据处理模块从所述矢量集合中截取出目标矢量集合；

所述第一数据处理模块基于所述目标矢量集合，利用平滑滤波器，获取所述透视变换矩阵；