[发明专利]导出视差矢量和运动矢量的方法和装置

说明书

技术领域

本发明专利属于通信技术领域，具体涉及一种摄像机非一维平行排列时的视差矢量和运动矢量导出方法和装置。

背景技术

视频信号本质上是一个在空间及时间上排列的三维信号，同一个时刻采集的在空域分布的像素样本构成了一幅图像，不同时刻采集的图像按照时间顺序排列构成了视频序列。通常在视频序列中，空域和时域上临近的像素都具有较强的相关性。二维视频编码技术正是充分的利用了图像空域和时域的相关性来达到压缩的目的。

三维视频序列相比于二维视频序列的最大不同在于，三维视频序列不仅包含空间和时间域的信号，还增加了视点域的图像。在不同位置采集的视频序列被当作不同视点的视频序列，多个视点的视频序列构成了三维视频序列。于是，为了利用图像在视点域的相关性，三维视频编码技术中增加了利用视点间图像相关性的编码工具。在大多数视频序列中，时域相邻图像内容非常相似，其背景画面变化极小，所以在高效的二维视频编码技术里，常用的预测技术是运动补偿预测技术。为了较小传输运动矢量的代价，利用同一个物体的运动趋势一致，来利用空间或者时间相邻的像素的运动矢量间的相关性对运动矢量进行进一步的预测。针对三维视频序列，不同视点间的图像，其实描述的是同一个场景的物体。只是拍摄角度和位置不同，因此在三维视频序列，相邻视点像素的运动矢量也存在极强的相关性。

如何利用三维视频序列不同视点图像之间的视点间相关性与视点的排列有关。一维平行排布的摄像机采集到的三维视频序列中，任意两个视点间对应像素的视点间位置对应关系可以用公式1表示：

其中，u_target,v_target是目标视点V1中像素点的坐标位置

u_ref,v_ref是参考视点V2中像素点的坐标位置

f_x是参考视点的摄像机的焦距

o_v1,o_v2分别是目标视点V1和参考视点V2的摄像机光轴与图像成像面交点 的图像横坐标

z_ref是参考视点V2中像素点对应的深度值

x是参考视点和目标视点的水平位置的差值

如公式1所示，一维平行排布的三维视频的序列，目标视点和参考点的对应像素点的图像坐标位置关系可以表示为一个水平的偏移量，这个偏移量与目标视点和参考视点的水平距离，摄像机参数以及像素点对应的深度值有关，与像素点所在的坐标位置无关。目标视点中具有相同深度的像素点，可以通过相同的偏移量找到在参考视点中的对应像素位置。

任意排列的摄像机采集得到的三维视频序列中，任意两个视点间对应像素的视点间位置关系如公式2所示：

其中，u_target,v_target是目标视点V1中像素点的坐标位置

u_ref,v_ref是参考视点V2中像素点的坐标位置

是目标视点V1的摄像机内参矩阵

是参考视点V2的摄像机内参矩阵

表示的是参考视点V2处的摄像机坐标与目标视点V1处的摄像机坐标的旋转平移关系

z_ref是参考视点V2中像素点对应的深度值

z_target是目标视点V1中像素点对应的深度值

从公式2可以看出，任意摄像机排列的三维视频序列，目标视点中的像素点与参考视点中对应像素点坐标位置关系除了与摄像机参数以及深度有关，还与像素点的坐 标位置有关。任意摄像机排列时，目标视点中具有相同深度的像素点，它们与参考视点中对应像素点的位置关系不能利用相同的偏移量表示。