[发明专利]数字图像稳定处理的优化方法、系统、芯片和板卡

说明书

本披露公开了一种数字图像稳定系统、用于优化数字图像稳定处理的方法、芯片和板卡。该数字图像稳定系统可以实现为组合处理装置中，该组合处理装置包括通用处理器和专用处理电路。通用处理器与专用处理电路进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与通用处理器与专用处理电路连接，用于存储该通用处理器与专用处理电路的数据。本披露的方案对数字图像稳定处理进行优化，提高了运算处理效率。

技术领域

本披露一般地涉及多媒体处理领域。更具体地，本披露涉及一种数字图像稳定系统、用于优化数字图像稳定处理的方法、芯片和板卡。

背景技术

视频图像中的运动是由物体运动或摄像机运动引起的。如果相机和物体的相对运动过大，则会导致图像之间产生高频抖动。由于人眼的视觉暂留效应，会导致视频流的模糊甚至让人产生眩晕的感觉。通常，造成该现象的主要原因是相机的非主观运动。

数字图像稳定系统的目的是产生一个补偿的视频序列，消除由于仪器的非主观运动造成的画面抖动，使图像平滑。图1示出了数字图像稳定技术的基本流程图。如图所示，接收到原始视频序列110之后，会在步骤120中对原始视频序列进行局部运动估计。接着在步骤130中基于局部运动估计确定全局运动估计并进行平滑处理。最后，在步骤140中，利用平滑后的全局运动，对图像进行防抖矫正，得到矫正后的视频序列150。

在上述处理流程中，局部运动估计(步骤120)对相邻帧间的运动状态进行估计，是图像稳定算法的核心，其计算效率的高低对整个算法的运算速度有非常重大的影响。局部运动估计需要计算与匹配图像特征，当前基于传统的CPU、GPU的方案具有功耗高、运算速度慢、效率低等缺陷。

此外，图像矫正(步骤140)根据运动平滑后的参数，对整张图像进行防抖。通常情况下，图像矫正处理涉及对原始图像进行坐标变化，其变化后的坐标是非整形的，需要采用差值等手段进行坐标的对齐。图像矫正的处理速度直接影响整个算法的计算效率。当前基于传统的CPU、GPU的方案在对整个图像帧进行上述坐标处理时也同样存在功耗高、运行速度慢、效率低等缺陷。

上述两个问题使得传统的基于CPU、GPU的方案在高分辨率和实时性方面存在一定的瓶颈，限制了数字图像稳定技术的使用场景。

发明内容

为了至少解决在上文中所提到的一个或多个技术问题，本披露实施例提出了一种优化数字图像稳定技术的方案。本披露在如下的多个方面中提供前述的解决方案。

在第一方面中，本披露公开了一种数字图像稳定系统，用于执行数字图像稳定处理，所述数字图像稳定处理包括局部运动估计过程、全局运动估计和运动平滑过程和图像矫正过程，所述数字图像稳定系统包括通用处理器和专用处理电路，其中：所述通用处理器，配置用于调度所述数字图像稳定处理中各个过程的执行主体和参数设置；以及所述专用处理电路，配置用于根据所述通用处理器的调度，至少执行所述局部运动估计过程和/或所述图像矫正过程中的一部分。

在第二方面中，本披露公开了一种用于优化数字图像稳定处理的方法，其中所述数字图像稳定处理包括局部运动估计过程、全局运动估计和运动平滑过程和图像矫正过程，所述方法包括：利用通用处理器来调度所述数字图像稳定处理中各个过程的执行主体和参数设置；以及利用专用处理电路，在所述通用处理器的调度下，至少执行所述局部运动估计过程和/或所述图像矫正过程中的一部分。

在第三方面中，本披露公开了一种芯片，所述芯片包括本披露第一方面所述的数字图像稳定系统。

在第四方面中，本披露公开了一种板卡，所述板卡包括本披露第三方面所述的芯片。

通过利用本披露上述的优化数字图像稳定处理的方案，可以将计算量大和/或重复性计算较多的处理分配给专用处理电路来执行，从而可以加快运算速度，降低功耗，提升效率。进一步地，通过在通用处理器与专用处理电路之间合理地设置分工模式，在保证高效的同时，兼顾了方案的灵活性和场景适用性。

附图说明