[发明专利]音频流错误隐藏的方法、装置和系统

说明书

技术领域

本发明涉及实时音频通信技术，特别涉及音频流错误隐藏的方法、装置和系统。

背景技术

人们很早就开始从事音频分类研究，但对于不同的应用场景，音频分类的方法及分类的结果不尽相同。例如，1、在高级音响设备的噪音抑制中，常用调频分析或贝叶斯分类器将音频信号分类。2、为了更好地索引和检索因特网上音频资源，人们进行了基于内容的音频分类和检索研究。比较有代表性的基于内容的音频分类工作中详细分析了音频的区别性特征，包括响度(loudness)、基音(pitch)、谐度(harmonicity)等，并且设计了音频的分类器。3、音频分类另外一种应用是服务于音频--特别是语音编码器的语音激活检测器(VAD)，目的是用来检测语音通信时是否有话音存在，对话音和非话音分别采用不同的编码方式，以达到在不降低通话质量的情况下节省话路资源的作用。

在实时音频传输系统(如VoIP)中，网络传输造成音质下降的原因主要是时延、静电干扰和包丢失，其中，包丢失是音质下降的最主要原因。实际通讯网络总是存在着一定干扰，因此存在一定的包丢失概率，尽管协议低层有纠错编码，但只能解决包内误码，无法解决丢包问题。此外，由于实时音频业务有严格的延时限制，分组延迟超过一个极限也将被视为丢失。为了能够在一定丢包率情况下，仍然保证一定的通讯质量，很多编解码算法中都集成了错误隐藏技术，用来消除丢包的影响。

图1为音频流错误隐藏的框图。如图1所示，压缩音频信号经过IP网络或其他不可靠网络的传输后，通常将接收到的音频数据包存放在抖动缓存器，该抖动缓冲器用于解决迟包、早包的重排序等功能，然后进行丢包、错包检测。如果有丢包或错包发生，系统将启动错误隐藏进行丢包补偿，否则将正确接收音频包解码输出。

音频实时传输中的丢包恢复技术按照处理阶段可以划分为两个大类：基于发送端的修复和基于接收端的修复。

●基于发送端的错误隐藏

基于发送端的丢包恢复由发送端发起，并需要发送端和接收端协同进行。常见的方法有，增加冗余度、前向纠错、优先级设置和分类处理等。

1、增加冗余度：增加数据的冗余度可以提高系统的容错能力，但是同时增加了带宽。

2、前向纠错(FEC)：该策略也依赖于在传输流附加可修复丢失数据包的信息，利用块或代数码字生成能辅助纠错的额外传输包，同样需要增加带宽。

3、优先级设置方法：这种技术需要网络支持并按优先级传输分组，否则无法实现，并且只能改善网络拥塞造成的丢包概率。

4、分类处理方法：在语音编码中，为了在接收端更好地采用波形替换技术，发送端可以根据语音信号的特性分类处理，比如3GPP2VMR-WB和ITU-T G.729.1将语音帧进一步描述为voiced，unvoiced，voiced transition，unvoiced transition，onset等类型，而解码端接收到之后，利用其前一帧和后一帧的语音帧类型，可以推测出丢帧的类型，解码器得到丢帧类型后，可以较好的恢复丢失帧的信息。

●基于接收端的错误隐藏

不需要发送端参与的接收端错误隐藏技术，本质上是对接收到的数据通过一系列的方法来估计丢失的数据，并根据人的生理特点进行优化，基本上是一种被动的修补，通常比较容易实现且不增加带宽需求。基于接收端的错误隐藏方法可分为三类：

1、基于插入的策略：这类技术包括拼接(Splicing)、静音和噪声替代等方法。拼接技术会扰乱媒体流的时序，效果也不好。静音替代(用静音帧填充丢帧位置)的适用范围非常有限，当数据包的丢失频率很低(小于2％)且缺口宽度小于4ms时，这种方法比较有效；当缺口宽度达40ms时，其效果会让人无法接受。与静音替代相比，噪声替代(用噪音帧填充丢帧位置)可给人带来更好的主观听觉感受，同时能改善语音信号的可分辨性。当采用背景噪声而不是静音的时候，人脑能下意识地用正确的声音来修补语音信号中丢失的部分。插入方式与语音编码无关，也与分组的编码无关，只是对解码后丢失的语音进行处理。

2、基于插值的策略：与插入技术相比，插值技术使得处理得到的声音能给人带来相对更好的主观感受。

3、基于重新生成的策略：从丢失包周围的信息提取解码状态，并由此生成丢失包的替代包。这种方法的实现过程比较复杂，但会取得较好的结果。