[发明专利]图像帧差错隐藏方法及装置

说明书

本发明涉及一种图像帧差错隐藏方法，包括以下步骤：判断第n个图像帧是否有丢包差错，如果是则不对第n个图像帧进行差错隐藏；以及对第n+1个图像帧进行差错隐藏，其中差错隐藏操作参考第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。

技术领域

本发明涉及长期演进语音承载(Voice over Long-Term Evolution,VOLTE)视频电话业务、视频编解码器、实时传输协议(Real-time Transport Protocol,RTP)以及嵌入式系统，尤其涉及一种图像帧差错隐藏方法，该图像帧差错隐藏方法可以有效提高图像的质量。

背景技术

VOLTE电话业务是4G通信的核心业务之一，而视频电话是其中的一个主要功能。基于分组交换的4G无线网络可以提供双向实时音视频电话业务。视频电话主要采用MPEG4、H.264或H.265等编码算法，通常在实时系统中使用I帧(帧内预测)和P帧(帧间预测)进行图像编码。其中，I帧解码不依赖其他图像但压缩率较低，P帧解码压缩率较高但解码需要参考之前的图像。通常情况下，为了保证有效的数据压缩，视频码流中绝大多数是P帧。另一方面，无线信道的数据丢包常常是不可避免的，即使只出现一个丢包也会导致该帧图像无法正确解码，而后续帧以差错帧为参考从而造成了图像差错的不断延续和放大，最后使得图像中出现大量马赛克，影响了用户的主观体验。

因此，对于VOLTE视频电话业务来说，数据丢包问题显得尤为突出。常用的应对措施是在传输层进(反馈)数据重传，例如通过RTCP(Real-time Transport ControlProtocol，实时传输控制协议)反馈丢包信息、丢失图像条带信息，或者反馈差错宏块信息等。这些方法虽然处理过程不同、重传的数据量也不同，但本质上都是在传输层进行修复，需要对端(和本端)的配合才能实现，而且对承载质量有一定要求的，即在无线信号较好的环境下才能取得理想的修复效果。如果当前信号较弱(例如终端处于移动中或者比较复杂的网络环境下)，不仅正常数据容易丢包，反馈信息或重传数据本身也可能出现丢包和长时延，从而会影响传输层的修复效果。另外，实时视频电话业务也不可能长时间等待重传。而当对端设备来自其他厂商时，则可能根本不支持本端传输层的修复协议，从而完全无法进行数据修复。可见，数据重传的方法不仅需要双方协议的支持，而且明显受限于网络条件。

由于传输层的修复机制无法应对所有情况，在传输层修复失败的情况下输出的图像帧必然存在数据缺失。如果想要最终不出现大量马赛克和卡顿，那么就需要在视频解码器引入差错隐藏机制来提高图像的质量。

差错隐藏是与数据重传工作在不同层面的另一种图像修复机制。差错隐藏修复方法可以使图像的差错被控制在有限的范围之内，且无需得到对端的配合。差错隐藏修复方法不依赖网络传输，因而是一种更加独立、透明的修复方法。当所有上层的修复机制不可用或者修复失败时，便只能依靠解码器的差错隐藏功能来保证图像质量。因此，差错隐藏修复方法不仅是其他修复机制的重要补充，也是视频图像质量的最终保障。

发明内容

本发明所要解决的技术问题是提供一种图像帧差错隐藏方法，该图像帧差错隐藏方法可以有效提高图像的质量。

本发明为解决上述技术问题而采用的技术方案是提出一种图像帧差错隐藏方法，包括以下步骤：判断第n个图像帧是否有丢包差错，如果是则不对所述第n个图像帧进行差错隐藏；以及对第n+1个图像帧进行差错隐藏，其中所述差错隐藏操作参考所述第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。

在本发明的一实施例中，当判断所述第n个图像帧有丢包差错时，还包括：尝试解码所述第n个图像帧；以及判断所述解码能否获得一个或多个宏块，如果是，则所述差错隐藏操作包括参考所述一个或多个宏块以及所述第n个图像帧之前的一个或多个图像帧进行差错隐藏，否则丢弃所述第n个图像帧；其中不显示所述第n个图像帧。

在本发明的一实施例中，还包括对第n+2个图像帧进行解码，所述解码操作参考所述第n+1个图像帧进行。