[发明专利]图像处理方法和装置

说明书

技术领域

本发明涉及数据业务处理，特别是指一种图像处理方法和装置。

背景技术

帧速率上转换算法主要就用于不同帧速率视频扫描格式之间的转换，能够在两帧或者多帧视频图像中产生处于中间状态的帧，如图1所示，视频帧图像11在位置A处，视频帧图像13在位置B处，而视频帧图像12就是视频帧图像11和13的中间状态的帧。

例如，在低码率视频通讯领域中，由于受制于有限的传输带宽，视频的帧速度通常较低，通过将帧速率提高至30fps，可以消除画面显示时出现的不连贯和跳跃感，确保更加流畅的动态效果。

目前帧速率上转换算法主要有两大类：一类是简单的帧速率上转换算法，包括：帧重复法和时域线性/非线性插值法；该种算法虽然运算速度快，但由于没有考虑物体的运动，在插帧中的运动区域会出现抽动、模糊等现象。

为了解决该问题，出现了第二类基于运动补偿的帧速率上转换算法(MC-FRUC)，考虑帧间的运动信息进行插值，其中，运动估计和运动补偿是决定此类算法性能好坏的关键。

运动估计是获得帧间运动信息的基础，最常用的是基于块匹配的方法，该方法将图像划分为互不重叠的等分宏块，假设每个块内的运动是相同的，对每个块按照一定的标准进行匹配搜索，从而得到运动向量。

块匹配方法有位移跟踪能力强、运算复杂度低和易于硬件实现等优点，因此，在视频编码和视频分析领域得到广泛的应用。

但是MC-FRUC算法中的运动估计和视频编码中的运动估计大为不同，MC-FRUC算法中的运动估计是为了内插出主观质量好的中间帧图像，而视频编码中的运动估计则是为了得到最小残差图像。因此MC-FRUC算法更倾向于获得平滑的运动向量场反映图像中物体的真实运动。如果将传统的基于块匹配算法的运动估计直接应用于MC-FRUC算法中，内插帧的图像会出现重叠或者空洞的问题，如图2所示，视频帧图像21被划分为若干了视频图像块，由于各个视频图像块的运动方向可能是任意的，运动估计出的视频帧图像22中的视频图像块就出现了重叠221或者空洞222；而且，由于块处理本身的缺陷，运动向量的连续性较差，导致在内插帧中块的边缘产生明显的块效应。传统的块运动估计只适合普通的平移运动，不适合旋转、缩放和变形等复杂运动。

因此，发明人在实现本发明的过程中，发现现有图像处理技术中，尤其是产生内插帧的技术，运动估计复杂度高，产生的运动向量难以准确表达真实运动；基于块的运动补偿出现空洞和重叠的问题；块效应和图像模糊降低了视频的感官质量。

发明内容

本发明要解决的技术问题是提供一种适合帧速率上转换需求的图像处理方法和装置，在降低计算复杂度的同时，提高输出运动向量场的准确度。

为解决上述技术问题，本发明的实施例提供一种图像处理方法，包括：

对第一帧图像和第二帧图像进行运动估计，获得从所述第一帧图像到所述第二帧图像的运动向量；

将所述第一帧图像沿所述运动向量所指示的运动轨迹运动所述运动向量的一部分距离，得到介于所述第一帧图像和所述第二帧图像之间的内插帧图像的不规则运动向量场；

对所述不规则运动向量场进行重采样，得到所述内插帧图像的规则运动向量场；

对所述规则运动向量场进行运动补偿，获得所述内插帧图像。

其中，对第一帧图像和第二帧图像进行运动估计，获得从所述第一帧图像到所述第二帧图像的运动向量步骤包括：

将所述第一帧图像划分为至少一个第一图像块，其中，一个第一图像块对应所述第二帧图像中的一个第二图像块；

对所述第一图像块和所述第二图像块进行运动估计，获得从所述第一图像块到所述第二图像块的块运动向量。

其中，对所述第一图像块和所述第二图像块进行运动估计，获得从所述第一图像块到所述第二图像块的块运动向量的步骤包括：

根据所述第一图像块和所述第二图像块的大小信息和一待选位移量，对所述第一图像块和所述第二图像块进行运动估计，获得从所述第一图像块到所述第二图像块的块运动向量。

其中，所述待选位移量为：在包括有至少一个第二图像块的搜索范围中，与所述第一图像块匹配的一第二图像块与所述第一图像块之间的相对位移。

其中，与所述第一图像块匹配的第二图像块是指：在所述搜索范围中，与所述第一图像块相似度最大的第二图像块。

其中，与所述第一图像块相似度最大的第二图像块是指：在所述搜索范围内，SAD(i，j)最小的第二图像块，其中，