[发明专利]一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法

权利要求书

1.一组多镜头光心重合式全方位摄像装置，其特征在于：由5部90度广角摄像机构成半球型全方位摄像机群，其中4部摄像机放在反射镜前面，经过反射镜形成横轴方向即水平方向虚拟光心的重合，用于拍摄半球型全方位中部的环形视频图像；另外一部摄像机垂直向下放置，拍摄球型全方位下部视频图像，它的实际光心在纵轴方向即垂直方向与4部摄像机的横轴方向即水平方向的虚拟光心重合；采集的全方位图像信息通过USB接口、1394接口或TCP/IP接口送入视频服务器中，完成图像拼接构成全方位视频图像；经采集、合成的半球型全方位视频图像通过时间同步，色彩融合和透视变换处理后，可形成即无死区又无重叠、浑然一体的半球型视频图像。

2.根据权利要求1的一组多镜头光心重合式全方位摄像装置，当拍摄球型全方位视频图像时，可由下、中、上三部份摄像机群及反射镜构成，其特征在于：下、中、上三部份摄像机群分别通过下、中、上三部份反射镜，构成下、中、上三部份横轴方向即水平方向虚拟光心重合的360度、180度或其他角度的全方位图像；且三部份横轴方向即水平方向重合的虚拟光心在纵轴方向即垂直方向也重合，因而通过时间同步、色彩融合和透视变换视频处理后合成了即无死区又无重叠、浑然一体的球型全方位视频图像；下、中、上三部份摄像机群合成的视频图像分别对应球形视频图像下、中、上三部份；三部分合成的图像可根据需要进行组合，如中部、上部组合，或中部、下部组合，或中部单独合成视频图像，以完成球形、半球形或环形视频图像的采集。

3.一种全景摄像、转播的方法，其特征在于：全景实况转播装置的中央视频服务器端简称服务器端主要承担全景视频的采集、生成、剪裁、编码、传输以及接收和处理客户端上传的位置信息，以便根据客户端观众的要求，剪裁客户端观众所感兴趣的全景视频区域中的相应部分进行分发；服务器端的工作流程如下：

步骤一、采集全景视频：全景视频的采集是使用摄像机群从多个角度将场景中的所有区域以多路视频的形式拍摄下来；视频采集器(101)是一种“源过滤器即Source Filter”，它与摄像机的驱动软件衔接，将外部摄像机捕获到的视频数据，通过驱动软件导入到过滤器图表中来；全景视频中270度的生成，需要多个摄像头同时采集，因此在过滤器图表中，有6个视频采集器，分别与6台摄像机相对应；视频采集器是摄像机厂商随摄像机提供的配套软件，不需要再进行编制或改动；视频采集器的数据传递，属于DirectShow即微软公司提供的一套在Windows平台上进行流媒体处理的开发包的“推模式”，即由源过滤器“推动”视频数据向下游的过滤器流动；

步骤二、生成全景视频：将采集好的6路视频传入中央视频服务器中，经6个视频采集器(101)与一个全景视频合成器(102)相连接；全景视频合成器(102)内部有多个显示缓存区，与它每个输入端相对应，全景视频270度需有6个缓存区，采用多视频流同步方案模式：即每台摄像机的视频帧即Sample将进入相应的缓存区等待，直到6个缓存区内都有至少一个视频帧的时候，释放出来用以合成全景视频；全景视频在显示缓存区中生成后，系统将显示缓存区中的视频数据读回到内存中来，并将这些数据看作一个新的视频帧，储存在一片新的内存区域里，它的大小就是全景视频的一个帧的大小：即6台摄像机的6个缓存区的大小；最后，全景视频合成器将新生成的视频帧打上时间戳即保持特定时间同步，实现6路视频的时间同步；同时进行色彩融合和透视变换以合成为一幅270度全景视频；全景视频的合成采用GPU(Graphic Processing Unit)，协同运算；

全景视频合成器(102)再通过输出端，将全景视频递推给视频分配器(103)；视频分配器(103)是一个一进多出的过滤器，它将全景视频合成器输出的全景视频复制成多路视频，并分别从它的各个输出端中传送出去，以便后边处理；每当一个视频分配器的输出端被一个下游的过滤器连接上时，便会自动生成一个未被连接的输出端，等待其他下游过滤器的连接；

步骤三、剪裁全景视频：视频剪裁器(104)是将视频分配器发来的全景视频进行剪裁，并将它剪裁的结果送入视频编码器(105)的一个变换过滤器；每个客户端观众感兴趣的区域都有所不同，因此，视频剪裁器(104)分别为每个观众剪裁他们所期望的全景视频区域；

步骤四、采用视频编码：视频编码(105)是在视频传输前所要做的必要的一个环节，视频编码可以大大降低视频的体积，使之适合在互联网上传输；视频编码(105)选用Divx即Divx编码器是MPEG编码器基础上发展而来的，是MPEG4压缩算法的一个子集作为视频编码器，Divx不仅是一款功能齐全的编码器，更重要的是，它为采用多核处理器的中央视频服务器作了特殊的优化，编码效率有了明显的提升；

步骤五、视频传输为视频发送器(106)的具体实施：在开始视频传输之前，服务器首先启动、运行模块socket建立流式套接字模块(121)，设置好通讯协议即UDP协议及套接字的地址与协议(122)，将该套接字和本地服务器网络IP地址联系在一起，运行等待服务器告知客户端IP地址模块(123)；当客户端同样建立一个socket套接字时，服务器与客户端建立通讯联系：互相获得对方的IP地址，此时，服务器即可告知视频发送器客户端IP地址，客户端和服务器之间就可以直接通过调用函数sendto即发送到和recvfrom即接收自来发送和接收数据；视频数据量一般都比较大，往往需要重复多次来接收，因此为了保证客户端能够正确接收视频数据，服务器端Socket套接字在发送正式的视频数据之前，首先发送一个视频数据的大小给指定IP客户端模块(124)，告诉客户端被接受视频的数据量；然后，发送视频数据给指定IP的客户端模块(125)，由视频发送器发送；“客户端关闭？”模块(126)判断客户端是否退出，如果没有退出，视频发送器程序转至准备发送下一帧视频(127)模块，重复发送一个视频大小的数据给指定IP客户端模块(124)、发送视频数据给指定IP的客户端模块(125)、“客户端关闭？”模块(126)步骤；如果客户端关闭，视频发送器程序转至等待下一个客户端IP模块(128)到来；

步骤六、中央视频服务器接收位置消息部分模块(91)，通过网络中央视频服务器接收到客户端上行发送位置消息模块(97)发送的位置消息后，分析发送此位置消息的客户端ID即标示、身份证，并按照新的位置，将改变剪裁窗口的位置模块(92)移动至全景视频中剪裁新位置上的视频图像模块(93)，将新位置上的区域剪裁下来，编码后送至发送视频模块(94)发送给对应的客户端。

4.根据权利要求3所述的全景摄像、转播的方法，其特征在于：客户端为个人电脑、配置了机顶盒的家庭电视机或者其它具有交互功能并接入互联网的显示设备；其运作流程包括：接收、解码、显示视频以及发送位置信息四个任务，客户端的运作流程如下：

步骤一、客户端接收过程：在视频接收时，客户端首先建立Socket套接字(131)模块，与服务器端视频发送器的Socket即套接字运作流程相对应；设定协议(132)模块即运行，当与服务器端连接成功后，便开始运行接收视频数据量模块(133)；在接收视频数据之前，会先接收由视频发送器传来的视频大小的数据量，再按照此数据量调用recvfrom()接收视频数据模块(134)：接收视频发送器发来的视频数据，直到此帧视频数据全部接收完毕，并经“接受完毕？”模块(135)判断是否接受完毕，如果接受完毕，将运行MediaSample形式封装模块(136)：MediaSample形式封装，将接收的视频数据以MediaSample的形式进行封装；打时间戳推送视频解码器模块(137)将视频数据打时间戳推送视频解码器，即推送给下游过滤器进行解码；“退出？”模块(138)判断是否退出，如果客户端退出，则转至关闭Socket套结字模块(139)关闭Socket套结字，即结束客户端视频采集过程；如不退出，程序转至准备接收下一帧视频数据模块(1310)，重复接收视频数据量模块(133)、调用recvfrom()接收视频数据模块(134)、“接受完毕？”模块(135)、MediaSample形式封装模块(136)、打时间戳推送视频解码器模块(137)、“退出？”模块(138)步骤，继续客户端视频采集的过程；

步骤二、客户端解码过程：解码环节与编码环节相对应，是将服务器端编码后的视频帧重新恢复回来；客户端的视频接收器(111)与服务器端的视频发送器(106)相对应，接收来自视频发送器的视频数据，并将它通过输出端推送给下游的视频FFDShow解码器(112)；FFDShow视频解码器(112)融合了多个解码器为一体，它可以解包括Xvix、Divx、X264多种压缩格式的视频；在此过滤器图表中，由于上游的过滤器输出的是以Divx压缩的格式，因此在媒体协商的时候就已经确认，这个视频解码器的内核为Divx解码器；客户端接收到由中央视频服务器发来的视频，设置一个视频帧缓存区，保障客户端播放视频的完整性；

步骤三、客户端视频显示过程：视频显示是将被播放的视频经过显示卡放映到屏幕中的过程，在Windows中，视频显示模式是Overlay即一种数字视频的显示技术，用于优化视频播放的模式；

步骤四、客户端发送位置消息：当客户端观众要求改变视角，想观看场景中的其他区域的时候，通过操纵鼠标、摇杆或遥控器客户端发送位置消息模块(97)就会发送相应位置消息给服务器端；位置消息记录着客户端观众向中央视频服务器请求新的观察区域的位置，在这里，“位置”是指中央视频服务器中生成的全景视频的某部分像素的位置；全景视频中的每个象素，坐标系中都有一个坐标点与之对应；位置消息的发送采用TCP协议，这是因为一方面位置消息相对视频数据更加重要，另一方面位置消息的数据量比较小，可以选择网络开销较大但可靠性较高的TCP协议发送。