[发明专利]一种应用于视频帧速率上转换的插值帧生成方法

说明书

技术领域

本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的插值帧生成方法。

背景技术

帧速率上转换是一种具有重要应用价值的视频图像处理技术，通过在时域内插出一些新的帧来提升帧速率，从而改善显示设备显示动态画面的性能，减少由于设备的显示保持特性(以LCD为例，其每个像素在一帧的持续时间内保持亮度不变)而引入的拖尾现象。帧速率上转换的应用场合包括：视频格式转换，如24帧/秒的电影在25帧/秒或30帧/秒播放速率的电视上播放；低码率视频编码，即在编码端以二分之一或更低的帧率编码，以减少网络传输对网络带宽的需求，而在解码端，通过帧速率上转换还原成正常速率的视频；另外，在慢速回放的应用中，帧速率上转换技术也有其用武之地。

现有的帧速率上转换算法粗略地可以划分成两大类：第一类算法不考虑运动物体帧间运动所产生的位置偏移，简单地采用帧重复或帧平均产生新的插值帧，对于存在动态区域的视频，这一类算法不可避免地将引入帧间抖动和运动模糊；第二类算法试图在运动轨迹上插值每个像素，通过运动估计和邻域滤波的紧密结合，实现减少帧间抖动和运动模糊的目的。可以预期，在大多数情况下，这一类算法具有比第一类算法更好的性能。

毋容置疑，在第二类算法中运动估计的精度将决定插值帧的质量。解码器从码流中提取的运动向量是由编码器采用某种快速匹配算法计算所得，在计算代价的角度，这样的运动向量由解码器直接从码流中获得，几乎不耗费额外的计算能力。然而，由于块匹配搜索以最小化帧间冗余为目标，所以很多时候这些运动向量并不反映物体的真实运动，以这样的运动向量构建运动轨迹将在插值帧中产生块效应和“鬼影”现象。为了获得能更好地反映物体真实运动的运动向量，针对帧速率上转换，解码器可以采取两种策略：对从码流中提取的运动向量作某种形式的后处理，使得运动向量场更为平滑；或者，在解码端重新估计更为准确的运动向量。

中国专利CN201110058013.0，将待求的插值帧划分成较大的块，以双向运动估计求取各个大块的运动向量，将每个大块分解成若干个小块，以大块的运动向量为预测值对各个小块进行双向运动估计，得到各个小块的运动向量。文献“A Multi-Pass True Motion Estimation Scheme With Motion Vector Propagation for Frame Rate Up-Conversion Applications”(Tai S.-C.等，Journal of Display Technology，2008(2)：188-197)使用多遍的策略估计真实运动向量。在最初的几遍，块尺寸被设置成32×32，在后续的搜索过程中，块尺寸逐步减小到16×16，8×8和4×4。每一遍搜索以后，以相邻块之间的运动向量差值是否小于一个阈值，以及由此运动向量产生的匹配误差是否足够小作为搜索是否收敛的准则，进而判断块的运动向量是否已具有足够的精度，无需作进一步的局部搜索。文献“A Multistage Motion Vector Processing Method for Motion-Compensated Frame Interpolation”(IEEE Trans.Image Process.，2008(5)：694-708)在解码端以编码器估计所得的、随码流一起传送的运动向量作为输入，根据残差值将运动向量区分为不可靠(残差较大)、可能可靠(残差不大但至少与一个不可靠的宏块相邻)、可靠三类，合并那些相邻的不可靠的宏块，由参与合并的宏块以及与其相邻的宏块的运动向量构成候选运动向量集合，选择那个具有最小匹配误差的作为合并块的运动向量。