[发明专利]一种分布式视频编码框架

权利要求书

1.一种分布式视频编码框架，其特征在于，所述编码框架包括基本视点、增强视点、Wyner-Ziv编码器、Wyner-Ziv解码器、第一帧内编码器、第一帧内解码器、时间边信息生成模块、第二帧内编码器、第二帧内解码器、空间边信息生成模块、融合模块、重构模块；其中，

基本视点，用于采集第一环境视频图像，根据第一环境视频图像的序号将第一环境视频图像分为第一Wyner-Ziv帧与第一关键帧，将第一Wyner-Ziv帧、第一关键帧分别发送至Wyner-Ziv编码器、第一帧内编码器；

增强视点，用于采集第二环境视频图像，根据第二环境视频图像的序号将第二环境视频图像分为第二Wyner-Ziv帧与第二关键帧，将第二关键帧发送至第二帧内编码器；

Wyner-Ziv编码器，用于对基本视点发送的第一Wyner-Ziv帧进行去除像素间相关性的离散余弦变换，对将变换系数量化后形成的位平面进行信道编码，并将得到的Wyner-Ziv编码帧通过无线信道发送至Wyner-Ziv解码器；

Wyner-Ziv解码器，用于对Wyner-Ziv编码器发送的Wyner-Ziv编码帧进行解码，并将Wyner-Ziv解码帧发送至重构模块；

第一帧内编码器，用于对基本视点发送的第一关键帧进行H.264帧内编码，并将得到的第一关键编码帧通过无线信道发送至第一帧内解码器；

第一帧内解码器，用于对第一帧内编码器发送的第一关键编码帧进行H.264帧内解码，并将得到的第一关键解码帧发送至时间边信息生成模块；

时间边信息生成模块，用于对来自第一帧内解码器的两个连续的第一关键解码帧依次进行预处理、块匹配、双向运动内插后，将生成的时间边信息帧发送至融合模块；

第二帧内编码器，用于对增强视点发送的第二关键帧进行H.264帧内编码，并将得到的第二关键编码帧通过无线信道发送至第二帧内解码器；

第二帧内解码器，用于对第二帧内编码器发送的第二关键编码帧进行H.264帧内解码，并将得到的第二关键解码帧发送至空间信息生成模块；

空间边信息生成模块，用于根据第二帧内解码器发送的第二关键解码帧进行运动估计，将得到的初始空间边信息帧发送至融合模块；

融合模块，用于根据基本视点与增强视点之间的相关性，通过基础矩阵将空间边信息生成模块发送的初始空间边信息帧映射到基本视点，得到映射空间边信息帧，并采用平均内插法对时间边信息生成模块发送的时间边信息帧与映射空间边信息帧进行信息融合后，将得到的融合信息帧发送至重构模块；

重构模块，用于对融合模块发送的融合信息帧进行滤波，并根据Wyner-Ziv解码器发送的Wyner-Ziv解码帧、经过滤波的融合信息帧进行图像重建；

所述空间信息生成模块包括：第二预处理单元、第二块匹配单元、空间边信息生成单元；其中，

第二预处理单元，用于对来自所述第二帧内解码器的两个连续的第二关键解码帧进行低通滤波处理后，将得到的两个连续的第二关键滤波帧分别分割为五十个以上的大小为M×N的增强宏块，并将各增强宏块发送至第二块匹配单元；其中，M、N均表示像素点个数，且为自然数；

第二块匹配单元，用于在第二预处理单元发送的各增强宏块中，根据MSE(r,s)≤γ进行搜索，并将搜索到的两个相互匹配的增强宏块发送至空间边信息生成单元；其中，匹配函数γ为设定值，且为实数；(r,s)表示两个任意增强宏块之间的运动矢量，(x,y)、(x+r,y+s)均表示像素点坐标；g_l(x,y)表示两个连续的第二关键解码帧中的当前帧在(x,y)处的像素值；g_l-1(x+r,y+s)表示两个连续的第一关键解码帧中的前一帧在(x+r,y+s)处的像素值；

空间边信息生成单元，用于对第二块匹配单元发送的两个相互匹配的增强宏块采用双向运动内插法进行处理，得到初始空间边信息帧将初始空间边信息帧V_2m发送至所述融合模块；其中，V_2m(q)表示初始空间边信息帧，q表示初始空间边信息帧中的像素坐标；U_2m-1表示两个相互匹配的宏块中属于两个连续的第一关键滤波帧中的前序第一关键滤波帧的宏块，U_2m+1表示两个相互匹配的宏块中属于两个连续的第一关键滤波帧中的后序第一关键滤波帧的宏块；MV_f2m表示前向运动矢量，MV_b2m表示后向运动矢量，MV_f2m、MV_b2m均已知；

所述融合模块包括第三预处理单元、特征点提取单元、基础矩阵生成单元、映射单元、信息融合单元；其中，

第三预处理单元，用于对所述时间边信息生成模块发送的时间边信息帧、所述空间边信息生成模块发送的初始空间边信息帧进行滤波，并将得到的时间边信息滤波帧、初始空间边信息滤波帧发送至基础矩阵生成单元，同时，将时间边信息滤波帧、初始空间边信息滤波帧分别发送至融合单元、映射单元；

特征点提取单元，用于在水平方向与垂直方向上，获取第三预处理单元发送的时间边信息滤波帧、初始空间边信息滤波帧分别对应的每个像素点亮度I(x,y)、I'(x,y)的梯度，分别如下：

其中，表示卷积；

之后，根据上述梯度对应构建基本自相关矩阵M、增强自相关矩阵M'，分别为：

对基本自相关矩阵M、增强自相关矩阵M'进行平滑处理，得到对应的基本平滑自相关矩阵增强平滑自相关矩阵针对基本自相关矩阵M提取代表所述基本自相关矩阵M主曲率的两个特征点λ₁、λ₂，针对增强自相关矩阵M'提取代表所述增强自相关矩阵M'主曲率的两个特征点λ₁'、λ₂'，将上述各特征点以及各特征点对应的像素坐标发送至基础矩阵生成单元；其中，σ²表示像素点方差；上述各特征点满足约束条件λ₁·λ₂-0.04·(λ₁+λ₂)²＞δ、λ₁'·λ₂'-0.04·(λ₁'+λ₂')²＞δ，δ为设定阈值；

基础矩阵生成单元，用于根据特征点提取单元发送的各特征点以及各特征点对应的像素坐标，获取所述基本视点与所述增强视点之间的自相关系数CC：

其中，(x₁,y₁)、(x₂,y₂)分别表示特征点λ₁、λ₂的像素坐标，I₁(x₁,y₁)、I₂(x₂,y₂)分别表示特征点λ₁、λ₂的灰度；(x₁',y₁')、(x₂',y₂')分别表示特征点λ₁'、λ₂'的像素坐标，I₁'(x₁',y₁')、I₂'(x₂',y₂')分别表示特征点λ₁、λ₂的灰度；

在分别以(x₁,y₁)、(x₂,y₂)、(x₁',y₁')、(x₂',y₂')为中心、大小为(2m+1)×(2m+1)的匹配窗口内，抽取6组预匹配点作为6组样本；构建线性方程组：其中，m为自然数，(a,b)、(a',b')分别表示基本视点所采集图像中的像素点、增强视点所采集图像中的像素点；h₁、h₂、h₃分别表示三个向量；

根据从6组样本中随机抽取的4组样本获取h₁、h₂、h₃；进而，得到单应矩阵H＝[h₁ h₂ h₃]^T；对于6组样本中剩余的2组样本，根据xe'×Hx'＝0，获取对极点e'；进而，将得到的基本矩阵F＝e'×H发送至映射单元；

映射单元，通过基础矩阵生成单元发送的基础矩阵F，将初始空间边信息滤波帧映射至所述基本视点，并将得到映射空间边信息帧发送至信息融合单元；

信息融合单元，用于采用平均内插法，对第三预处理单元发送的时间边信息帧与映射单元发送的映射空间边信息帧进行融合，并将得到的融合信息帧发送至所述重构模块。

2.根据权利要求1所述的一种分布式视频编码框架，其特征在于，所述时间信息生成模块包括：第一预处理单元、第一块匹配单元、时间边信息生成单元；其中，

第一预处理单元，用于对来自所述第一帧内解码器的两个连续的第一关键解码帧进行低通滤波处理后，将得到的两个连续的第一关键滤波帧分别分割为五十个以上的大小为M×N的基本宏块，并将各基本宏块发送至第一块匹配单元；其中，M、N均表示像素点个数，且为自然数；

第一块匹配单元，用于在第一预处理单元发送的各基本宏块中，根据MSE(i,j)≤δ进行搜索，并将搜索到的两个相互匹配的基本宏块发送至时间边信息生成单元；其中，匹配函数δ为设定值，且为实数；(i,j)表示两个任意基本宏块之间的运动矢量，(x,y)、(x+i,y+j)均表示像素点坐标；f_k(x,y)表示两个连续的第一关键解码帧中的当前帧在(x,y)处的像素值；f_k-1(x+i,y+j)表示两个连续的第一关键解码帧中的前一帧在(x+i,y+j)处的像素值；

时间边信息生成单元，用于对第一块匹配单元发送的两个相互匹配的基本宏块采用双向运动内插法进行处理，得到时间边信息帧将时间边信息帧Y_2n(p)发送至所述融合模块；其中，Y_2n(p)表示时间边信息帧，p表示时间边信息帧中的像素坐标；X_2n-1表示两个相互匹配的基本宏块中属于两个连续的第一关键滤波帧中的前序第一关键滤波帧的基本宏块，X_2n+1表示两个相互匹配的基本宏块中属于两个连续的第一关键滤波帧中的后序第一关键滤波帧的基本宏块；MV_f2n表示前向运动矢量，MV_b2n表示后向运动矢量，MV_f2n、MV_b2n均已知。