[发明专利]一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法

权利要求书

1.一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，包括以下步骤：

步骤1、多视点视频编码：视频序列首先进行运动视差补偿预测，然后进行编码模式选择；

步骤2、建立端到端失真度模型：在执行完上述步骤1之后，采用虚拟信道编码器的信息码元数量和校验位码元数量计算信道丢包率，进而建立端到端的失真度模型；

步骤3、联合信源信道的率失真优化编码：根据所述失真度模型、所述虚拟信道编码器生成的信道参数集以及信道丢包率进行联合信源信道的率失真优化，得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。

2.根据权利要求1所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，步骤1中多视点视频编码主要包括运动视差补偿预测编码和编码模式选择两部分，首先，在视点内时域方向采用可分级的B帧的编码结构，分级B帧的运动视差补偿预测编码中，B帧分为B1帧、B2帧和B3帧三个层次，通过对B1、B2、B3帧的预测，然后做运动向量和残差的编码，完成视点内的运动视差补偿预测编码；其次，视点间在关键帧采用传统的IPPP结构进行预测，在视点间的关键帧的IPPP视差补偿预测编码时，通过在前一个参考视点中寻找和当前块最匹配的块，利用该块作为预测块，进而编码该块与当前块的残差并进行传输；为了让解码器能够寻找到该匹配块，当前块与匹配块的视差向量也进行熵编码，然后在信道上传输；最后对编码帧的编码块进行编码模式选择。

3.根据权利要求2所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，B1、B2、B3帧的预测具体为：B1帧由两个I帧或者P帧来进行预测，预测的残差和运动向量分别进行熵编码，得到编码的码流在信道上传输；B2帧则由低层次的B1帧和I帧或P帧进行双向预测得到；B3帧则由低层次的B2帧或者B1帧和I帧或P帧进行双向预测得到。

4.根据权利要求2所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，编码模式包括帧内编码和运动视差补偿编码模式。

5.根据权利要求1所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，步骤2中在运动视差补偿预测编码的基础上，进行多视点传输情况下端到端的失真度估计，假设信道丢包率为p，则视点v第n帧的第i个像素的端到端的预期失真E[d(v,n,i)]为：

E[d(v,n,i)]＝(1-p)(E[d_s(v,n,i)]+E[d_ep(v_ref,r_ref,i+mv)])+pE[d_ec(v,n,i)]；

其中，E[d_s(v,n,i)]表示编码像素i信源量化失真，E[d_ep(v_ref,r_ref,i+mv)]表示参考帧中的参考像素的扩散失真度，v_ref为第r_ref帧的参考视点，mv表示像素i的运动向量；E[d_ec(v,n,i)]表示错误掩盖失真；

为了方便计算当前像素预测的后面帧的像素的端到端的预期失真度，当前像素i的预期扩散失真表示为E[d_ep(v,n,i)]，其进一步可以表示为递推的形式：

其中，d_{ec_r}(v,n,i)表示编码像素的重建值和掩盖像素重建值的均方差，表示掩盖像素为视点v_ec中第r_ec帧的像素带来的扩散失真度，其中为估计的运动矢量；

在视点v第n帧的第i个像素的端到端的预期失真E[d(v,n,i)]公式的基础上，视点v第n帧的宏块m的端到端的失真度进而表示为：