[发明专利]一种交互式多视点视频系统的图像信号处理方法

摘要

本发明公开了一种交互式多视点视频系统的图像信号处理方法，通过在服务端编码存储不同预测方式下得到的多视点视频信号码流以及关联视点间完整的视差场码流，利用反馈的用户端视点选择信息和显示设备类型信息，从视点可分解的结构式码流中选择合适的1个视点(用于单目显示)或2个视点(用于立体显示)或者最多4个视点(用于2个虚拟视点的立体显示)数据，从而实现多视点视频信号的部分传输，降低系统对传输带宽的要求以及用户端系统复杂度的要求，使得在给定网络带宽的条件下能传输更多的节目，服务更多的用户，使得数字交互式多视点电视接收机的成本更低。

主权项

1、一种交互式多视点视频系统的图像信号处理方法，由系统服务端的多视点视频成像模块、集成的多视点视频编码模块和部分码流选择与传输模块以及系统用户端的视点解码模块、任意视点绘制模块和视频显示模块来完成图像信号的采集、编码、传输、解码、绘制与显示，用户端将用户选择的视点和显示设备类型信息传输给服务端的部分码流选择与传输模块，部分码流选择与传输模块根据接收到的信息从集成的多视点视频编码模块生成的视点可分解的结构式码流中分离出绘制用户所选视点图像所需的视频数据和视差场信息并将其通过网络传输给视点解码模块进行解码，其特征在于在所述的集成的多视点视频编码模块中进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码和视点可分解的结构式码流生成，具体步骤为：(1)由多视点视频成像模块中的多个可同步拍摄的相机获取多个视点的视频信号，并向集成的多视点视频编码模块传输多视点视频信号；(2)集成的多视点视频编码模块接收多视点视频成像模块采集的多视点视频信号，对多视点视频信号进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码，并将生成的关联视点视差场与多视点视频信号的视点可分解的结构式码流存储于服务端的存储器或者传输给用户端的视点解码模块；(3)部分码流选择与传输模块根据交互反馈的用户端视点选择情况以及用户端显示设备类型信息，从视点可分解的结构式码流中截取绘制用户所选视点图像所需的视点视频信号和关联视点视差场码流通过网络进行传输；(4)用户端视点解码模块接收到多视点视频信号和关联视点视差场码流，并对该码流进行解码；(5)若用户所选择的视点为实际存在的视点，则将由视点解码模块解码得到的视点信号直接传输给视频显示模块进行显示；若用户选择的视点为虚拟视点，则由任意视点绘制模块根据视点解码模块解码得到的视点信号和视差场绘制虚拟视点，再传输给视频显示模块进行显示。