[发明专利]一种基于HEVC的音频信息嵌入方法及提取和重构方法

说明书

技术领域

本发明涉及一种基于HEVC的音频信息嵌入方法及提取和重构方法。

背景技术

随着数字多媒体通信与传输技术的发展，视频会议、远程教学、视频点播等多媒体服务已经广泛应用于我们生活的各个方面。然而由于网络传输中的延迟、抖动和网络拥塞等，以及发送端的发送速度与接收端的接收速度不匹配等问题，导致多媒体出现不同步的现象，而音视频同步作为其中的一个关键性技术越来越多的受到人们的关注。为了解决音视频同步问题，目前有两类方法，一种是非嵌入式的音视频同步方法，另一种是嵌入式的方法。

传统的非嵌入式的音视频同步方案有基于时间戳和同步标记来实现的，即在解码端恢复出与编码端一致的时钟，将相同时间标记的单元同时播放从而实现同步，然而该方案对解码器有较高要求，且对接收端缓冲区域的容量要求比较大，不能满足多个发送端的应用需求；也有借助多线程和多路复用思想，只需在接收端把音视频流分开即可，但该方案对复用后的音视频流解码会使得音视频流的质量严重下降；国际上，针对视频会议和可视电话等应用中的唇同步问题，相关学者提出了包括语音辅助视频插补、交叉模式预测编码及同步视频帧自动生成等方法，但该类算法中人的嘴部定位较难，需要人参与，且算法复杂度很高。

上述提及的几种非嵌入式的音视频同步方案对解码器要求较高，且算法复杂度较高，针对这些问题，近几年有很多学者借鉴基于H.264的信息隐藏和视频水印的思想，将音频信息嵌入视频中进行同步编码，在解码端提取音频编码数据并重构音频，最终实现同步。如通过修改变换域DCT系数实现音频嵌入，但该方案没有充分考虑嵌入开销和视频比特率的变化，视频码率失真较大。为了解决这个问题，有提出在H.264运动估计的过程中利用1/4像素精度的运动搜索点与音频信息之间的对应关系，通过调整最优匹配点将音频信息嵌入视频中，从而降低对视频质量的影响，但是这种方案会引起帧间失真漂移；也有通过修改CAVLC熵编码高频拖尾系数和非零系数将音频嵌入其中，该方法可以保持码率稳定，但仍会因误差累计而造成视频质量下降，导致音频信息无法正确提取。为避免对视频质量造成较大影响，基于帧间预测模式嵌入音频的算法被提出，但该算法嵌入数据容量较小，平均每个宏块只有2比特。为此，最近又提出一种可变尺寸块嵌入音频编码数据的方法，平均每个宏块嵌入2.67bit数据量，提升了嵌入容量，也保证了音频数据准确性。

以上方法主要针对标清视频而言，但随着人们对高清、超高清视频需求的增加，H.264/AVC标准已无法得到满意的压缩性能，现有的这些方法对高清以及超高清视频的音视频同步处理效果不佳。HEVC(英文全拼为：HighEfficiency Video Coding)是由国际信息组织和移动视频专家组制定的新一代视频压缩编码标准，旨在H.264/AVC的基础上提高编码效率，尤其在处理高清视频时具有显著优势，高效的压缩性能和并行化处理能力，将使其在高清、超高清等视频应用领域发挥重要作用，故基于HEVC的音视频同步方法的研究具有理论价值和现实意义，而HEVC的音视频同步方法中最主要的就是音频信息的嵌入方法及提取和重构方法。

发明内容

本发明所要解决的第一个技术问题是针对上述现有技术提供一种基于HEVC的音频信息嵌入方法。

本发明所要解决的第二个技术问题是针对上述现有技术提供一种基于HEVC的音频信息信息提取和重构方法。

本发明解决上述第一个技术问题所采用的技术方案为：一种基于HEVC的音频信息嵌入方法，其特征在于：包括以下步骤：

步骤1-1、将待嵌音频信息进行G.729压缩编码，将压缩编码后的待嵌音频信息转化为二进制音频数据流，用Au_i表示，其中1≤i≤Len，i的初始值为1，Len表示二进制音频数据流的长度；

步骤1-2、在编码端，将待嵌音频信息的原始HEVC视频当前待编码帧定义为当前编码帧，当前编码帧进行帧内预测时，将当前编码帧中正在处理的第m个预测单元定义为当前预测单元，其中1≤m≤I,m的初始值为1，I表示当前编码帧帧内预测时包含的预测单元的总个数；

步骤1-3、判断当前预测单元的尺寸是否为4×4，如果是，则执行步骤1-4；否则，对当前预测单元不处理，然后令m＝m+1,再执行步骤1-11，其中m＝m+1中的“＝”为赋值符号；

步骤1-4、利用拉格朗日率失真优化函数计算出当前4×4预测单元的最优预测模式，用Best_M_j表示，j＝(0,1,2…34)表示预测模式编号；