[发明专利]视频错误掩藏方法及装置

说明书

本申请提出视频错误掩藏方法及装置。方法包括：接收压缩编码后的视频码流，从该视频码流中提取出每一视频帧；对于每一视频帧，从该视频帧的每一slice中解析出该slice的描述信息，根据相邻两slice的描述信息，判断该相邻两slice之间是否有slice丢失，若该视频帧有slice丢失，则对该视频帧进行错误掩藏，错误掩藏完毕发送给解码器进行解码；若该视频帧无slice丢失，则直接将该视频帧发送给解码器进行解码。本申请更具方便性、灵活性、普适性，成本更低。

技术领域

本申请涉及视频处理技术领域，尤其涉及视频错误掩藏方法及装置。

背景技术

现有的基于解码端的视频错误掩藏策略嵌入在解码器内部，依赖于解码器，在解码的同时进行差错检测，然后在每解完一帧时进行错误掩藏。

现有的基于网络传输的视频错误掩藏方法，主要分为3大类：基于时域的错误恢复方法；基于空域的错误恢复方法；基于识别的错误恢复方法。其中，基于时域的错误恢复方法主要是以已经接收到的历史正确数据为基础，使用不同的权值或者判别方法从历史数据中得到已受损宏块的最优的替代数据；基于空域的错误恢复方法主要以当前帧的未受损部分为基础，根据受损部分周围的纹理特性、色彩特性、形状特性，通过图像修复的方法来恢复出受损数据；基于识别的错误恢复方法是以人脸识别、场景识别算法为基层，对历史数据中已经出现的人脸、场景等建模，并且对当前帧进行分析，识别出受损物体来自已经建模物体的哪个部分，然后从模型中找出对应部分，补偿受损区域。

对于基于解码端的视频错误掩藏策略，现有的方法只是将错误掩藏功能嵌入在解码器内部，这样导致的结果是错误掩藏功能完全依赖于解码器，当对解码器进行更新时，错误掩藏功能也就必须得做更新，没有灵活性。并且对于现有的方法，硬件解码器的更新也会给产品增加更大的成本，其中包括错误掩藏功能更新的时间成本和人力成本。

目前大多数视频通信是按字节数或者是宏块个数将数据分成slice(条带)进行打包传输，如果网络传输出现抖动或者丢包，势必会对视频质量有极大影响。现有的方法大多只是针对宏块的丢失，对实际的打包方式下所产生的丢包，比如较大面积的slice丢失，恢复效果较差。

现有的3类主要的视频错误掩藏方法都存在一定的问题，具体如下：

一、对于基于时域的视频错误掩藏，现有的方法有的只是简单地拷贝前一帧相同位置的数据，或者在前一帧到多帧中，用边界匹配的方法搜索边界最适合的块，这样的方法恢复质量太差，或者耗时太久，难以在智能设备、嵌入式系统中满足实时性的需求。

二、对于基于空域的视频错误掩藏，现有的方法只是使用了各种不同的插值方法，用受损宏块边缘的像素来插值出受损的宏块数据。但目前大部分方法都偏于理论化，条件过于理想化，例如受损宏块周围的宏块往往都是正确的，但在实际视频编码、网络传输中，是不可能将每个宏块单独打包传输，并且很大一部分视频宏块熵编码是上下文相关，也就是说如果前面的宏块丢失，后面的宏块就是收到也是无法正确解码使用的；并且插值算法过于复杂，在嵌入式设备上也难以达到实时。

三、对于基于识别的视频错误掩藏，现有的方法只停留在实验室阶段，一个视频的内容十分复杂，根本难以使用现有的方法对所有的场景物体进行建模，目前对人脸的建模掩盖比较成熟，只能应用在有人脸出现并且人脸部分出现丢失的情况下，才能有效，并且对未在历史帧中出现过的人脸部分也难以准确地估计，并且难以达到实时。

发明内容

本申请提供视频错误掩藏方法及装置，以提高视频错误掩藏的普适性、灵活性。

本申请的技术方案是这样实现的：

一种视频错误掩藏方法，该方法包括：

接收压缩编码后的视频码流，从该视频码流中提取出每一视频帧；