[发明专利]基于流媒体的3D视频显示与交互方法及装置

摘要

本发明公开了基于流媒体的3D视频显示与交互方法与装置，包括接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像。本发明提出了利用双目立体内容进行视差图计算的关键技术步骤，利用该步骤为符合人类视觉生理的立体效果调整提供了依据；提出了利用视差图进行立体效果调整的技术步骤利用该步骤改变了现有技术中只能进行图像平移的现状；通过上述技术点组合的处理，能够有效地提升立体内容调整后的视觉质量。

主权项

一种基于流媒体的3D视频显示与交互方法，其特征在于，包括：步骤一、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；所述双目立体内容至少缓存一个画面组GOP所包含的所有视频帧，每个视频帧包含左视点图像和右视点图像；步骤二、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；步骤三、根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像；所述控制信令包括调整方向信令和调整幅度信令；所述步骤二包括：步骤1、对每一个视频帧进行超像素分割，每个超像素所包含像素点的个数不超过20个；步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到具有超像素特征的视差图；步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波后的视差图；步骤4、基于Canny算子对步骤1中每一个视频帧的左视点图像和右视点图像进行纹理检测，得到纹理信息；步骤5、基于步骤3滤波后的视差图，找出滤波后的视差图与纹理信息的对应关系；步骤6、基于步骤5的对应关系，以纹理周边的错误视差值按照临近视差取值的原则对步骤3滤波后的视差图进行优化，从而获得对应于该视频帧的视差图；所述步骤三包括：步骤11、接收用户输入的控制信令，所述控制信令还包括：移动图像时的基础图像；所述基础图像包括：左视点图像或右视点图像；步骤12、调整方向信令与调整幅度信令进行乘积，并将乘积结果作为视差调整的方向和幅度；步骤13、将所述视差图的所有视差值与所述乘积结果求和，得到新的视差值；步骤14、基础图像与新的视差值相结合绘制新视点图像；当基础图像为左视点图像时，新视点图像为新右视点图像；当基础图像为右视点图像时，新视点图像为新左视点图像；步骤15、基础图像与新视点图像组合，得到新的立体图像。